видеокамера

Формула изобретения

1. Видеокамера, содержащая портативный корпус, установленный в нем объектив, выполненный с возможностью фокусирования света, светочувствительное устройство, выполненное с возможностью преобразования сфокусированного света в исходные видеоданные с разрешением по меньшей мере примерно 2000 пикселов по ширине и с частотой кадров по меньшей мере примерно 23 кадра в секунду, запоминающее устройство, установленное в корпусе, и систему обработки изображений, выполненную с возможностью внесения предыскажений в исходные видеоданные и их сжатия, так что подвергнутые внесению предыскажений сжатые исходные видеоданные остаются, по существу, визуально без потерь после распаковки, и с возможностью хранения подвергнутых внесению предыскажений, сжатых исходных видеоданных в запоминающем устройстве с частотой кадров по меньшей мере примерно 23 кадра в секунду.

2. Видеокамера по п.1, отличающаяся тем, что видеоданные представляют первые, вторые и третьи цвета, а система обработки изображений дополнительно содержит модуль обработки изображений, выполненный с возможностью модифицирования видеоданных, представляющих по меньшей мере один цвет: первый цвет или второй цвет, причем первый и второй цвета основаны на среднем значении величин выбранных видеоданных третьего цвета.

3. Видеокамера по п.2, в которой модуль обработки изображений выполнен с возможностью расчета среднего значения величин видеоданных третьего цвета, полученных по меньшей мере от двух чувствительных элементов, расположенных рядом с чувствительным элементом первого цвета, и вычитания указанного среднего значения из величины видеоданных, полученной от чувствительного элемента первого цвета.

4. Видеокамера по п.3, отличающаяся тем, что среднее значение величин включает среднее значение величин видеоданных третьего цвета, полученных по меньшей мере от четырех чувствительных элементов, расположенных рядом с чувствительным элементом первого цвета.

5. Видеокамера, содержащая объектив, установленный в корпусе и выполненный с возможностью фокусирования света; светочувствительное устройство, выполненное с возможностью преобразования фокусированного света в сигнал исходных видеоданных, представляющий сфокусированный свет; запоминающее устройство, установленное в корпусе, средства внесения предыскажений в исходные видеоданные и средства сжатия и записи подвергнутых внесению предыскажений исходных видеоданных с частотой кадров по меньшей мере примерно 23 кадра в секунду, так что подвергнутые внесению предыскажений сжатые исходные видеоданные остаются, по существу, визуально без потерь после распаковки.

6. Видеокамера по любому из пп.1-4, в которой система обработки изображений вносит предыскажения в видеоданные согласно функции, содержащей кривую, заданную функцией y=(x+c) g, где 0,01<g<1 и с - это смещение.

7. Видеокамера по п.6, в которой система обработки изображений вносит предыскажения в видеоданные согласно функции, содержащей кривую, заданную функцией y=(х) 0,5.

8. Видеокамера по п.6, в которой видеоданные представляют собой 12-битовые данные, а система обработки изображений вносит предыскажения в видеоданные согласно функции, содержащей кривую, заданную функцией y=(х/4095) 0,5.

9. Видеокамера по любому из пп.1-4, в которой логарифмическая кривая представлена в форме y=A·log(B·x+C), где А, В и С являются постоянными величинами.

10. Видеокамера по любому из пп.1-4, в которой система обработки изображений вносит предыскажения в видеоданные согласно гамма-кривой.

11. Видеокамера по любому из пп.1-4, в которой внесение предыскажений в видеоданные обеспечивает увеличенные линейные области вблизи черного цвета.

12. Видеокамера по любому из пп.1-4, 10 и 11, в которой система обработки изображений вносит предыскажения в видеоданные согласно гамма - кривой Rec709.

13. Видеокамера по любому из пп.1-4, 6-12, в которой система обработки изображений вносит предыскажения в видеоданные, используя таблицу преобразования.

14. Видеокамера по любому из пп.1-4, 6-13, в которой видеоданные содержат видеоданные, представляющие первый цвет, которые соответствуют первому положению видеоданных, представляющих первый цвет, на светочувствительном устройстве, первую величину видеоданных, представляющих второй цвет, которая соответствует первому положению видеоданных, представляющих второй цвет, на светочувствительном устройстве, и вторую величину видеоданных, представляющих второй цвет, которая соответствует второму положению видеоданных, представляющих второй цвет, на светочувствительном устройстве, причем система обработки изображений дополнительно содержит модуль обработки изображений, выполненный с возможностью выполнения до сжатия модифицирования видеоданных, представляющих первый цвет, на основе вычисленной величины, характеризующей изображение, полученной из первой и второй величин видеоданных, представляющих второй цвет, и из первого и второго положений видеоданных, представляющих второй цвет, так что вычисленная величина, характеризующая изображение, является пространственно скоррелированной по отношению к первому положению видеоданных, представляющих первый цвет.

15. Видеокамера по п.14, в которой первое и второе положения видеоданных, представляющих второй цвет, расположены, по существу, на противоположных сторонах первого положения видеоданных, представляющих первый цвет, на светочувствительном устройстве.

16. Видеокамера по п.14 или 15, в которой модуль обработки изображений дополнительно выполнен с возможностью вычисления среднего значения первой и второй величин видеоданных, представляющих второй цвет, и вычитания вычисленного среднего значения от величины видеоданных, представляющих первый цвет, соответствующей первому положению видеоданных, представляющих первый цвет, на светочувствительном устройстве.

17. Видеокамера по любому из пп.2-4, 6-16, в которой система обработки изображений выполнена с возможностью внесения предыскажений в видеоданные перед модифицированием видеоданных.

18. Видеокамера по любому из пп.2-4, 6-16, в которой система обработки изображений выполнена с возможностью внесения предыскажений в видеоданные после модифицирования видеоданных.

19. Видеокамера по любому из пп.1-4, 6-18, в которой коэффициент сжатия выбран по меньшей мере 6:1.

20. Видеокамера по любому из пп.1-4, 6-19, в которой светочувствительное устройство содержит микросхему датчика изображения, причем система обработки изображений содержит модуль обработки изображений и чип сжатия, выполненный с возможностью выполнения сжатия видеоданных в видеокамере, при этом чип сжатия выполнен отдельно от микросхемы датчика изображения.

21. Видеокамера по любому из пп.1-4, 6-20, в которой система обработки изображений выполнена с возможностью применять метод сжатия согласно стандарту JPEG 2000.

22. Способ использования видеокамеры по любому из пп.1-4, 6-21, содержащий приведение в действие системы обработки изображений для выполнения внесения предыскажений, сжатия и сохранения видеоданных.

Описание изобретения к патенту

УРОВЕНЬ ТЕХНИКИ

Область изобретения

[0001] Настоящее изобретение относится к цифровым камерам, например, предназначенным для съемки статических или динамических изображений, в частности к цифровым камерам, которые сжимают видеоданные.

Описание уровня техники

[0002] Несмотря на доступность цифровых видеокамер, производители полнометражных кинофильмов и некоторые телекомпании продолжают использовать пленочные камеры. Пленка, используемая для таких камер, позволяет получить изображения с очень высоким разрешением, которые при видеомонтаже можно редактировать традиционными способами. Однако в последнее время такую пленку часто сканируют, оцифровывают и редактируют в цифровом формате.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0003] Хотя некоторые имеющиеся сейчас на рынке цифровые видеокамеры содержат датчики изображения с высокой степенью разрешения и, таким образом, позволяют получать изображения с высоким разрешением, способы обработки и сжатия изображений, используемые в таких камерах, сопряжены со слишком большими потерями и, таким образом, удаляют слишком много исходных видеоданных, чтобы соответствовать требованиям указанных профессиональных секторов рынка. Один из аспектов по меньшей мере одного из вариантов реализации, описанных в настоящем изобретении, включает реализацию такого качества видеоизображения, которое является приемлемым для профессиональных секторов рынка, таких как производство полнометражных кинофильмов, и может быть достигнуто при использовании камер, способных фиксировать и хранить в исходном виде или в значительной степени в исходном виде видеоданные, имеющие разрешение по меньшей мере примерно 2000 пикселов по ширине и частоту кадров по меньшей мере 23 кадра в секунду.

[0004] Таким образом, в соответствии с одним из вариантов реализации видеокамера может включать портативный корпус и установленный в нем объектив, выполненный с возможностью фокусирования света. Светочувствительное устройство может быть выполнено с возможностью преобразования сфокусированного света в исходные видеоданные с разрешением по меньшей мере примерно 2000 пикселов по ширине при частоте кадров по меньшей мере примерно 23 кадра в секунду. Камера может также включать запоминающее устройство и систему обработки изображений, выполненную с возможностью сжатия и хранения в запоминающем устройстве исходных видеоданных с коэффициентом сжатия по меньшей мере шесть к одному, остающихся при этом по существу визуально без потерь, и с частотой кадров по меньшей мере 23 кадра в секунду.

[0005] В соответствии с другим вариантом реализации метод записи динамического видеоизображения при посредстве камеры может включать направление света на светочувствительное устройство. Метод может также включать преобразование света, принятого светочувствительным устройством, в исходные цифровые данные с частотой кадров по меньшей мере более 23 кадров в секунду, сжатие исходных цифровых видеоданных и запись исходных видеоданных с частотой кадров по меньшей мере примерно 23 кадра в секунду в запоминающее устройство.

[0006] В соответствии еще с одним вариантом реализации видеокамера может включать объектив, установленный в корпусе и выполненный с возможностью фокусирования света, и светочувствительное устройство, выполненное с возможностью преобразования сфокусированного света в сигнал исходных видеоданных, представляющий сфокусированный свет. Камера может также включать запоминающее устройство и средства сжатия и записи исходных видеоданных при частоте кадров по меньшей мере примерно 23 кадра в секунду.

[0007] В соответствии еще с одним вариантом реализации видеокамера может включать портативный корпус, имеющий по меньшей мере одну рукоятку, выполненную с возможностью управления пользователем ориентацией с учетом по меньшей мере одной степени подвижности корпуса во время операции видеозаписи камерой. Объектив может включать по меньшей мере одну линзу, установленную в корпусе и выполненную с возможностью фокусирования света на плоскости, расположенной внутри корпуса. Светочувствительное устройство может быть выполнено с возможностью преобразования сфокусированного света в исходные видеоданные с горизонтальным разрешением по меньшей мере примерно 2000 пикселов по ширине и с частотой кадров по меньшей мере примерно 23 кадра в секунду. Запоминающее устройство также может быть выполнено с возможностью хранения видеоданных. Система обработки изображений может быть выполнена с возможностью сжатия и хранения в запоминающем устройстве исходных видеоданных с коэффициентом сжатия по меньшей мере шесть к одному, остающихся при этом по существу визуально без потерь, и с частотой кадров по меньшей мере примерно 23 кадра в секунду.

[0008] Еще один аспект по меньшей мере одного из описываемых изобретений включает реализацию того, что вследствие большей чувствительности человеческого глаза к зеленой части спектра по сравнению с другими цветами модификация полученных от датчика изображения выходных видеоданных может быть использована для повышения сжимаемости данных, при этом обеспечивая видеоизображение более высокого качества. Один из таких способов может включать вычитание величины, характеризующей зеленый свет, определенной из величин, характеризующих красный и/или синий свет и определенных перед сжатием данных. При этом может быть осуществлено конвертирование видеоданных, представляющих красный и/или синий цвета, в более сжимаемую форму. Например, в известных процессах конвертирования RGB данных, подвергшихся гамма-коррекции, в Y CbCr изображение подвергается "декорреляции", оставляя большую часть видеоданных в компоненте Y (также обозначаемом как "яркость"), и тогда остающиеся хроматические компоненты будут более сжимаемыми. Однако, известные приемы конвертирования в формат Y CbCr не могут быть напрямую применены к данным, упорядоченным по шаблону Байера, так как данные, представляющие отдельный цвет, не являются пространственно скоррелированными, и данные, упорядоченные по шаблону Байера, включают в два раза больше данных, представляющих зеленый цвет, чем данных, представляющих зеленый и красный цвета. Процессы вычитания видеоданных, представляющих зеленый цвет, в соответствии с некоторыми описываемыми здесь вариантами реализации могут быть идентичны вышеуказанным процессам конвертирования в Y CbCr в том, что большая часть видеоданных остается в области видеоданных, представляющих зеленый цвет, оставляя все остальные данные в более сжимаемом виде.

[0009] Помимо этого процесс вычитания видеоданных, представляющих зеленый цвет, может быть инвертирован, благодаря чему сохраняются все исходные видеоданные. Таким образом, получающаяся в результате система и способ, имеющий в основе такой прием, могут обеспечить степень сжимаемости указанных видеоданных, при которой вообще нет потерь видеоданных или визуально нет потерь, и улучшенную степень сжимаемости видеоданных.

[0010] Таким образом, в соответствии с данным вариантом реализации, видеокамера может включать объектив, установленный в корпусе и выполненный с возможностью фокусирования света, и светочувствительное устройство, выполненное с возможностью преобразования сфокусированного света в исходный сигнал видеоданных, представляющий по меньшей мере первый, второй и третий цвета сфокусированного света. Модуль преобразования изображений может быть выполнен с возможностью модифицирования видеоданных по меньшей мере или первого цвета или второго цвета на основе видеоданных третьего цвета. Помимо этого видеокамера может включать запоминающее устройство и устройство для сжатия данных, выполненное с возможностью сжатия видеоданных первого, второго и третьего цветов и хранения сжатых видеоданных в запоминающем устройстве.

[0011] В соответствии с другим вариантом реализации, может быть предложен способ обработки изображения. Этот способ может включать преобразование изображения в первые видеоданные, представляющие первый цвет, вторые видеоданные, представляющие второй цвет и третьи видеоданные, представляющие третий цвет, модифицирование по меньшей мере первых видеоданных и вторых видеоданных на основе третьих видеоданных, сжатие третьих видеоданных и модифицированных первых и вторых видеоданных и сохранение сжатых данных.

[0012] В соответствии с еще одним вариантом реализации видеокамера может содержать объектив, установленный в корпусе и выполненный с возможностью фокусирования света. Светочувствительное устройство может быть выполнено с возможностью преобразования сфокусированного света в исходный сигнал видеоданных, представляющий по меньшей мере первый, второй и третий цвета сфокусированного света. Камера может также содержать средства модифицирования видеоданных по меньшей мере первого и второго цветов на основе видеоданных третьего цвета, запоминающее устройство и устройство для сжатия, выполненное с возможностью сжатия видеоданных первого, второго и третьего цветов и хранения сжатых видеоданные в запоминающем устройстве.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0013] Фиг.1 представляет собой структурную схему, представляющую систему, которая может включать технические средства и/или быть выполненной с возможностью осуществления способов обработки видеоданных в соответствии с вариантом реализации.

[0014] Фиг.2 представляет собой вариант реализации корпуса камеры, показанной в схематическом виде на фиг.1.

[0015] Фиг.3 представляет собой схематическое изображение датчика изображения, имеющего фильтр на основе шаблона Байера, который может использоваться в сочетании с системой, показанной на фиг.1.

[0016] Фиг.4 представляет собой схематическую структурную схему модуля обработки изображений, который может использоваться в системе, показанной на фиг.1.

[0017] Фиг.5 представляет собой схематическую структуру видеоданных, представляющих зеленый цвет, полученных зелеными чувствительными элементами датчика изображения, показанного на фиг.3.

[0018] Фиг.6 представляет собой схематическую структуру остальных видеоданных, представляющих зеленый цвет и показанных на фиг.5, после дополнительного процесса удаления некоторой части исходных видеоданных, представляющих зеленый цвет.

[0019] Фиг.7 представляет собой схематическую структуру видеоданных, представляющих красный, синий и зеленый цвета, изображенных на фиг.5 и упорядоченных с целью обработки в модуле обработки изображений, изображенном на фиг.1.

[0020] Фиг.8 представляет собой блок-схему, иллюстрирующую способ преобразования видеоданных, который может быть использован в системе, показанной на фиг.1.

[0021] Фиг.8А представляет собой блок-схему, иллюстрирующую модификацию способа преобразования видеоданных, показанного на фиг.8, которая также может быть использована с системой, показанной на фиг.1.

[0022] Фиг.9 представляет собой схематическую структуру видеоданных, представляющих синий цвет и получаемых в результате процесса преобразования видеоданных, проиллюстрированного на фиг.8.

[0023] Фиг.10 представляет собой схематическую структуру видеоданных, представляющих красный цвет и получаемых в результате процесса преобразования видеоданных, проиллюстрированного на фиг.8.

[0024] Фиг.11 иллюстрирует пример дополнительного преобразования, которое может быть применено к видеоданным для гамма-коррекции.

[0025] Фиг.12 представляет собой блок-схему управляющей программы, которая может быть использована в сочетании с системой, показанной на фиг.1, с целью распаковать видеоданные и подвергнуть их демозаику.

[0026] фиг.12А представляет собой блок-схему, иллюстрирующую модификацию управляющей программы, представленной на фиг.12, которая также может быть использована в сочетании с системой, показанной на фиг.1.

[0027] Фиг.13 представляет собой схематическую структуру видеоданных, представляющих зеленый цвет, распакованных и прошедших демозаик в соответствии с блок-схемой, представленной на фиг.12.

[0028] Фиг.14 представляет собой схематическую структуру половины исходных видеоданных, представляющих зеленый цвет, представленных на фиг.13, распакованных и прошедших демозаик в соответствии с блок-схемой, представленной на фиг.12.

[0029] Фиг.15 представляет собой схематическую структуру показанных на фиг.13 видеоданных, представляющих синий цвет, распакованных в соответствии с блок-схемой, представленной на фиг.12.

[0030] Фиг.16 представляет собой схематическую структуру показанных на фиг.15 видеоданных, представляющих синий цвет, прошедших демозаик в соответствии с блок-схемой, представленной на фиг.12.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ РЕАЛИЗАЦИИ

[0031] Фиг.1 представляет собой принципиальную схему камеры, имеющей модули датчика изображения, обработки и сжатия данных, представленных при описании видеокамеры для съемки кинофильмов. Варианты реализации, раскрытые в настоящем описании, представлены при описании видеокамеры, имеющей один датчик изображения с фильтром на основе шаблона Байера, так как эти варианты реализации имеют особое практическое значение в данном контексте. Однако, варианты реализации и изобретения, являющиеся предметом настоящего описания, могут быть применимы также и к камерам, оснащенным другими типами датчиков изображения (например, CMY система байеровского типа, а также другими датчиками небайеровского типа), имеющими другое количество датчиков изображения, работающими с разными типами форматов изображения и выполненными для работы со статическими или динамическими изображениями. Таким образом, следует отметить, что варианты реализации, раскрытые в настоящем описании, являются неограничивающими, и поэтому раскрытые изобретения не ограничены указанными вариантами реализации.

[0032] Как показано на фиг.1, камера 10 может включать каркас или корпус 12, выполненный с возможностью быть оснащенным системой 14, выполненной с возможностью регистрации, обработки и дополнительно хранения и/или воспроизведения видеоданных. Например, система 14 может содержать компоненты 16 оптической системы, датчик 18 изображения, модуль 20 обработки изображений, модуль 22 сжатия и запоминающее устройство 24. Дополнительно, камера 10 может содержать также модуль 26 монитора, модуль 28 воспроизведения и дисплей 30.

[0033] На фиг.2 показан неограничивающий объем изобретения вариант реализации камеры 10. Как показано на фиг.2, корпус может быть оснащен компонентами 16 оптической системы таким образом, что какая-то их внешняя поверхность открыта для воздействия. В некоторых вариантах реализации система 14 содержится внутри корпуса 12. Например, датчик 18, модуль 20 и модуль 22 могут быть расположены внутри корпуса 12. Запоминающее устройство 24 может быть установлено в корпусе 12. Дополнительно, в некоторых вариантах реализации устройство 24 может быть установлено на внешней стороне корпуса 12 и соединено с остальными частями системы 14 через соединитель или кабель любого типа. Дополнительно, устройство 24 может быть соединено с корпусом 12 через гибкий кабель, таким образом создавая возможность относительного независимого от корпуса 12 перемещения устройства 24. Например, при таком гибком кабельном соединении пользователь может носить устройство 24 на поясе благодаря чему общий вес корпуса 12 уменьшается. Помимо этого, в некоторых вариантах реализации корпус может включать одно или несколько устройств 24 внутри, установленных на внешней части. Кроме этого, корпус 12 может также быть оснащенным модулем 26 и модулем 28. Дополнительно, в некоторых вариантах реализации дисплей 30 может быть выполнен с возможностью установки на внешней стороне корпуса 12.

[0034] Компоненты 16 оптической системы могут быть выполнены как система линз, из которых по меньшей мере одна линза выполнена с возможностью фокусирования входящего изображения на датчик 18 изображения. Компоненты 16, как один из вариантов, могут быть выполнены в виде многолинзовой оптической системы, обеспечивающей переменное увеличение, апертурную диафрагму и фокус. Помимо этого, компоненты 16 могут соответствовать форме гнезда для объектива, поддерживаемого корпусом 12 и выполненного с возможностью установки различных объективов. Например, но не в качестве ограничения, компоненты 16 содержат гнездо, выполненное с возможностью крепления объективов различных размеров, включая 50-100-миллиметровый объектив с переменным фокусным расстоянием (F2,8), 18-50-миллиметровый объектив с переменным фокусным расстоянием (F2,8), 300-миллиметровый объектив (F2,8), 15-миллиметровый объектив (F2,8), 25-миллиметровый объектив (F1,9), 35-миллиметровый объектив (F1,9), 50-миллиметровый объектив (F1,9), 85-миллиметровый объектив (F1,9) и/или любые другие объективы. Как было отмечено выше, компоненты 16 могут быть выполнены таким образом, что какую бы линзу они не содержали, изображение может быть сфокусировано на светочувствительной поверхности датчика 18 изображения.

[0035] Датчик 18 может принадлежать к любому типу датчиков видеоизображения, включая, например, но не в качестве ограничения, такие устройства как ПЗС, КМОП, вертикально компонуемые КМОП-устройства, такие как датчик Foveon®, или структура из нескольких датчиков, предусматривающая использование призмы для разделения света между датчиками. В некоторых вариантах реализации датчик 18 может включать КМОП-устройство, имеющее примерно 12 миллионов фотоэлементов. Однако, могут быть также использованы датчики других размеров. В некоторых конфигурациях камера 10 может быть выполнена с возможностью получения изображения с горизонтальным разрешением "2k" (например, 2048×1152 пикселя), "4k" (например, 4096×2540 пикселя), "4,5k" или с более высоким разрешением. В данном описании величина "х", будучи выраженной в формате xk (как, например, указанные выше 2k и 4k), относится к приблизительному горизонтальному разрешению. Разрешение "4k" соответствует примерно 4000 или большему числу горизонтальных пикселей, а разрешение "2k" соответствует примерно 2000 или большему числу пикселей. При использовании аппаратного обеспечения, которое в настоящее время имеется в продаже, датчик может иметь длину всего лишь 0,5 дюйма (8 мм), но он может достигать в длину примерно 1,0 дюйма или большей величины. Помимо этого, датчик 18 может быть выполнен с возможностью обеспечивать переменное разрешения путем избирательного вывода только заранее установленной части видеоданных, поступающих с датчика 18. Например, датчик 18 и/или модуль обработки изображений могут быть выполнены с возможностью установления пользователем разрешения выходных видеоданных.

[0036] Камера 10 может быть также выполнена с возможностью уменьшения разрешения и последующей обработки выходных данных с датчика 18 для получения выходных видеоданных с разрешением 2К, 1080р, 720р или с любым другим разрешением. Например, видеоданные с датчика 18 могут быть "обработаны методом окна", причем в этом случае сокращается размер выводимого изображения и могут быть достигнуты более высокие вывода данных. Однако могут быть использованы датчики других размеров. Помимо этого, камера 10 может быть выполнена с возможностью повышения разрешения выходного сигнала с датчика 18 с целью получения видеосигнала более высокого разрешения.

[0037] Как показано на фиг.1 и 3, в некоторых вариантах реализации датчик 18 может содержать фильтр на основе шаблона Байера. Датчик 18 посредством своего набора микросхем (не показаны) выводит данные, соответствующие величинам, характеризующим красный, зеленый или синий свет, обнаруженные отдельными фотоэлементами датчика 18. На фиг.3 схематично представлены выходные данные датчика 18 на основе шаблона Байера. В некоторых вариантах реализации, например, как представлено на фиг.3, фильтр на основе шаблона Байера имеет в два раза больше зеленых элементов, чем красных и синих. Набор микросхем датчика 18 может быть использован для считывания заряда на каждом элементе датчика изображения и, следовательно, для вывода потока величин в виде известного формата вывода RGB.

[0038] Как показано далее на фиг.4, модуль 20 обработки изображений может быть дополнительно выполнен с возможностью форматирования потока данных, идущих от датчика 18 изображения, любым известным способом. В некоторых вариантах реализации модуль 20 может быть выполнен с возможностью разделения видеоданных, представляющих зеленый, красный и синий цвета, на три или четыре, отдельных блока данных. Например, модуль 20 может быть выполнен с возможностью выделения данных, представляющих красный цвет, в один элемент данных, данных, представляющих синий цвет, в один синий элемент данных, а данных, представляющих зеленый цвет, в один зеленый элемент данных. Например, как показано на фиг.4, модуль 20 может включать модуль 32 обработки данных, представляющих красный цвет, модуль 34 обработки видеоданных, представляющих синий цвет, и первый модуль 36 обработки видеоданных, представляющих зеленый цвет.

[0039] Однако, как было отмечено выше, видеоданные на основе шаблона Байера, показанные на фиг.3, имеют в два раза больше зеленых пикселей, чем пикселей двух других цветов. На фиг.5 представлен компонент данных, из которого удалены данные, представляющие синий и красный цвета, с оставлением только исходных видеоданных, представляющих зеленый цвет.

[0040] В некоторых вариантах реализации камера 10 может быть выполнена с возможностью пропуска или удаления некоторой части видеоданных, представляющих зеленый цвет. Например, в некоторых вариантах реализации модуль 20 может быть выполнен с возможностью удаления 1/2 видеоданных, представляющих зеленый цвет, с тем чтобы общее количество видеоданных, представляющих зеленый цвет, было равно количеству видеоданных, представляющих синий и красный цвета. Например, на фиг.6 представлены данные, оставшиеся после того, как модуль 20 удаляет 1/2 видеоданных, представляющих зеленый цвет. В представленном на фиг.6 варианте реализации ряды n-3, n-1, n+1 и n+3 удалены. Это всего лишь один пример шаблона видеоданных, представляющих зеленый цвет, которые могут быть удалены. Другие шаблоны и другие количества видеоданных, представляющих зеленый цвет, также могут быть удалены.

[0041] В некоторых альтернативных вариантах камера 10 может быть выполнена с возможностью удаления 1/2 видеоданных, представляющих зеленый, после того видеоданные, представляющие красный и синий цвета, были преобразованы на основе видеоданных, представляющих зеленый цвет. Этот прием, использование которого не является обязательным, описан далее за описанием вычитания величин видеоданных, представляющих зеленый цвет, из прочих видеоданных, представляющих другой цвет.

[0042] Помимо этого модуль 20 обработки изображений может быть выполнен с возможностью избирательного удаления видеоданных, представляющих зеленый цвет. Например, модуль 20 может включать модуль анализа удалений (не показан), выполненный с возможностью выборочного определения какие именно видеоданные, представляющие зеленый цвет, следует удалить. Например, подобного рода модуль удаления может быть выполнен с возможностью определения, не приведет ли удаление определенной структуры рядов из области видеоданных, представляющих зеленый цвет, к появлению дефектов изображения, таких как, например, линии муара или другие различимые глазом искажения. Модуль удаления может дополнительно быть выполнен с возможностью выбора для удаления шаблона видеоданных, представляющих зеленый цвет, чтобы при этом свести до минимума риск создания таких искажений. Например, модуль удаления может быть выполнен с возможностью выбора для удаления шаблона видеоданных, представляющих зеленый цвет, который включал бы чередующиеся вертикальные столбцы, если он установит, что изображение, полученное датчиком 18 изображения, характеризуется множеством параллельных горизонтальных линий. Эта схема удаления может сокращать или удалять искажения, такие как линии муара, которые могли возникнуть в результате удаления шаблона данных, состоящих из переменных линий видеоданных, параллельных горизонтальным линиям, выявленным в изображении.

[0043] Однако, это лишь единичный неограничивающий пример типов характерных признаков изображения и схем удаления, которые могут использоваться модулем удаления. Этот модуль удаления может также быть выполненным с возможностью выявления других характерных признаков изображения и использования других схем удаления видеоданных, таких как, например, но не в качестве ограничения, удаление чередующихся рядов, чередующихся диагональных линий или другие схемы. Помимо этого, модуль удаления может быть выполнен с возможностью удаления частей других видеоданных, таких как видеоданные, представляющие красный и синий цвета, или другие видеоданные в зависимости от типа используемого датчика.

[0044] Помимо этого камера 10 может быть выполнена с возможностью вставки поля данных в видеоданные с целью указать какие именно видеоданные были удалены. Например, но не в качестве ограничения, камера 10 может быть выполнена с возможностью вставки поля данных в начало любого видеофрагмента, сохраняемого в запоминающем устройстве 24, который указывает какие именно видеоданные были удалены в каждом из "кадров" видеофрагмента. В некоторых вариантах реализации камера может быть выполнена с возможностью вставки в каждый кадр, уловленный датчиком 18, поля данных, указывающее какие именно видеоданные были удалены. Например, в некоторых вариантах реализации, в которых модуль 20 обработки изображений выполнен с возможностью удаления 1/2 видеоданных, представляющих зеленый цвет, по одной схеме удаления, размер этого поля данных может быть не больше одного бита, указывающем только удалены ли видеоданные или нет. Поскольку модуль 20 выполнен с возможностью удаления данных лишь по одной схеме, одного бита достаточно для указания какие данные удалены.

[0045] В некоторых вариантах реализации, как было отмечено выше, модуль 20 может быть выполнен с возможностью выборочного удаления видеоданных более чем по одной схеме. В этом случае поле удаления видеоданных может быть больше, включая достаточное число величин, указывающих какая именно из схем удаления видеоданных была использована. Это поле данных может быть использовано расположенными далее по ходу данных компонентами и/или процессами, позволяющими определить каким пространственным положениям соответствует остающиеся видеоданные.

[0046] В некоторых вариантах реализации модуль обработки изображений может быть выполнен с возможностью задержки всех видеоданных, представляющих зеленый цвет, например, данных, приведенных на фиг.5. В таких вариантах реализации модуль обработки изображений может включать один или несколько модулей обработки видеоданных, представляющих зеленый цвет.

[0047] Как было отмечено выше, в известных фильтрах на основе шаблона Байера, имеется в два раза больше зеленых элементов, чем красных и синих. Иными словами, красные элементы составляют 25% от всего массива шаблона Байера, синие элементы соответствуют 25% массива шаблона Байера, а зеленые элементы включают 50% элементов, входящих в массив шаблона Байера. Таким образом, в некоторых вариантах реализации, в которых сохраняются все видеоданные, представляющие зеленый цвет, модуль 20 обработки изображений может включать второй модуль 38 обработки видеоданных, представляющих зеленый цвет. Первый модуль 36 обработки видеоданных, представляющих зеленый цвет, может обработать половину зеленых элементов, а второй модуль 38 обработки видеоданных, представляющих зеленый цвет, может обработать оставшиеся зеленые элементы. Однако заявляемые изобретения могут быть использованы в сочетании с другими видами схем, такими как, например, но не в качестве ограничения, CMY и RGBW.

[0048] На фиг.7 схематически показаны красный, синий и двое зеленых компонентов данных, обработанных модулями 32, 34, 36 и 38 (фиг.4). Это может дать еще ряд преимуществ, так как размер и конфигурация каждого из этих модулей может быть примерно одна и та же, так как они обрабатывают примерно один и тот же объем данных. Кроме того, модуль 20 обработки изображений может быть выборочно переключен из одного режима на другой, при котором он обрабатывает все видеоданные, представляющие зеленый цвет (путем использования обоих модулей 36 и 38), или на такие режимы, в которых удаляется 1/2 видеоданных, представляющих зеленый цвет (и в которых используется только один из модулей 36 и 38). Однако могут использоваться и другие конфигурации.

[0049] Помимо этого, в некоторых вариантах реализации модуль 20 может включать другие модули и/или может быть выполнен с возможностью выполнения других действия, например, но не в качестве ограничения, процесса гамма-коррекции, процесса фильтрации шумов и т.д.

[0050] Помимо этого, в некоторых вариантах реализации модуль 20 может быть выполнен с возможностью вычитания величины, характеризующей зеленый элемент, из величины, характеризующей синий элемент и/или красный элемент. В некоторых вариантах реализации, когда определенные цвета определяются датчиком 18 изображения, соответствующий красный или синий элемент может быть уменьшен до нуля. Например, на многих фотографиях могут быть большие площади черного, белого или серого цвета, или же цвета, смещенного от серого к красному или синему цвету. Таким образом, если соответствующие пиксели датчика 18 различили область серого цвета, величина, характеризующая зеленый, красный и синий цвета, будет примерно одинаковой. Таким образом, если величина, характеризующая зеленый цвет, вычитается из величин, характеризующих красный и синий цвета, то последние упадут до нуля или будут приближаться к нулю. Таким образом, в ходе последующего процесса сжатия будет больше нолей, полученных в пикселях, которые чувствительны к черному, белому или серому участку, и таким образом, получаемые в результате данные будут легче поддаваться сжатию. Кроме того, вычитание зеленого из одного или обоих других цветов может сделать получаемые в результате видеоданные более сжимаемыми и по другим причинам.

[0051] Этот прием может помочь добиться более высокой степени сжатия, при этом данные остаются визуально без потерь благодаря тому, что этот прием имеет отношение к энтропии исходных видеоданных. Например, энтропия изображения имеет отношение к величине случайности в данном изображении. Вычитание видеоданных, представляющих один цвет, например, из видеоданных, представляющих другой цвет, может снизить степень случайности, и таким образом уменьшить энтропию видеоданных этих цветов, посредством чего создавая возможность сжимать данные с более высокими коэффициентами сжатия и с меньшими потерями. Как правило, изображение не является набором случайных величин, характеризующих цвет. Скорее, часто существует определенная степень соотношения между соседними элементами изображения. Таким образом, подобного рода прием вычитания может быть основан на использовании соотношения элементов изображения для достижения лучшей степени сжатия. Объем сжатия будет зависеть, по меньшей мере частично, от энтропии исходных данных в изображении.

[0052] В некоторых вариантах реализации значения, вычитаемые из красных или синих пикселей, могут быть значениями величин зеленых пикселей, которые расположены рядом с рассматриваемыми красным или синим пикселем. Кроме того, в некоторых вариантах реализации значения зеленого, вычитаемые из красных или синих элементов, могут быть получены из среднего значения окружающих зеленых элементов. Эти приемы подробно описаны далее, однако могут быть использованы и другие приемы.

[0053] В качестве одного из вариантов модуль 20 обработки изображений может также быть выполнен с возможностью избирательного вычитания видеоданных, представляющих зеленый цвет, из других цветов. Например, модуль 20 может быть выполнен с возможностью определения, приведет ли вычитание видеоданных, представляющих зеленый цвет, из фрагмента видеоданных, представляющих любой из других цветов, к большей степени сжатия или нет. В этом режиме модуль 20 может быть выполнен с возможностью вставки в видеоданные флагов, указывающих какие именно фрагменты видеоданных были модифицированы (например, путем вычитания видеоданных, представляющих зеленый цвет) и какие фрагменты не были модифицированы таким образом. При наличии таких флагов расположенный далее компонент демозаика/восстановления может выборочно добавлять величины, представляющие зеленое изображение, обратно в видеоданные, представляющие другие цвета, в зависимости от статуса этих флагов данных.

[0054] В качестве одного из вариантов модуль 20 может также содержать еще один модуль сжатия данных (не показан), выполненный с возможностью округлять величины данных, представляющих красный и синий цвета. Например, если после вычитания величин, характеризующих зеленый цвет, данные, представляющие красный и синий цвета, приближены к нулю (т.е., будут находиться в пределах одного или двух на 8-битовой шкале, находящейся в диапазоне от 0-255 или достигая более высоких величин в системе с более высоким разрешением). Например, датчик 18 может быть 12-битовым датчиком, выводящим данные, представляющие красный, синий и зеленый цвета, в диапазоне шкалы 0-4095. Любое округление или фильтрация видеоданных, осуществляемых модулем округления, может быть скорректировано для получения желаемого эффекта. Например, округление может быть произведено в меньшем объеме, если необходимо получить выходные данные без потерь или в большем объеме, если приемлемы некоторые потери или выходные данные с потерями. Может быть произведено некоторое округление, которое все же обеспечивает выходные данные визуально без потерь. Например, на 8-битовой шкале данные, представляющие красный или синий цвета, имеющие абсолютные значения до 2 или 3, могут быть округлены до 0 и по-прежнему обеспечивать выходные данные визуально без потерь. Кроме того, на 12-битовой шкале данные, представляющие красный или синий цвета, имеющие абсолютное значение до 10-20, могут быть округлены до 0 и по-прежнему обеспечивать выходные данные визуально без потерь.

[0055] Помимо этого значения величин, которые могут быть округлены до нуля или округлены до других величин и по-прежнему обеспечивать выходные данные визуально без потерь, зависят от конфигурации системы, включая компоненты 16 оптической системы, датчик 18 изображения, разрешение датчика изображения, цветовое разрешение (в битах) датчика 18, типы фильтрации, способы борьбы с искажением данных или другие способы, осуществляемые модулем 20 обработки изображений, способы сжатия, осуществляемые модулем 22 сжатия и/или другие параметры или характеристики камеры 10.

[0056] Как было отмечено выше, в некоторых вариантах реализации камера 10 может быть выполнена с возможностью удаления 1/2 видеоданных, представляющих зеленый цвет, после того как видеоданные, представляющие красный и синий цвета, будут преобразованы на основе видеоданных, представляющих зеленый цвет. Например, но не в качестве ограничения, обрабатывающий модуль 20 может быть выполнен с возможностью удаления 1/2 видеоданных, представляющих зеленый цвет, после того как средние величины, характеризующие окружающий зеленый цвет, вычтены из величин, характеризующих красный и синий цвета. Это сокращение в данных, представляющих зеленый цвет, может снизить требования к пропускной способности соответствующих технических средств. Кроме того, остающиеся видеоданные, представляющие зеленый цвет, могут быть использованы для восстановления видеоданных, представляющих красный и синий цвета, подробно описанных далее со ссылками на фиг.14 и 16.

[0057] Как было отмечено выше, камера 10 может также содержать модуль 22 сжатия. Модуль 22 может быть выполнен в виде отдельной микросхемы или же может быть реализован посредством программного обеспечения и еще одного процессора. Например, модуль 22 может быть выполнен в виде имеющегося в продаже чипа сжатия, который производит операцию сжатия в соответствии со стандартом JPEG 2000 или другие операции сжатия.

[0058] Модуль сжатия может быть выполнен с возможностью выполнять любые виды процедур сжатия над видеоданными, поступающими из модуля 20 обработки изображений. В некоторых вариантах реализации модуль 22 выполняет процедуру сжатия, которая использует действия, выполняемые модулем 20. Например, как было отмечено выше, модуль 20 может быть выполнен с возможностью сокращать значения величин видеоданных, представляющих красный и синий цвета, путем вычитания значений видеоданных, представляющих зеленый цвет, в результате чего появляется большее число нулевых величин, а также будут иметь место и другие эффекты. Помимо этого, модуль 20 может выполнить обработку исходных данных, основанную на энтропии видеоданных. Таким образом, методы сжатия, осуществляемые модулем 22 сжатия, могут относиться к такому типу, который выигрывает от присутствия больших цепочек нулей, так как при этом снижается размер выходных сжатых видеоданных.

[0059] Более того, модуль 22 сжатия может быть выполнен с возможностью сжатия видеоданных, поступающих из модуля 20 обработки изображений, с целью получения выходных данных визуально без потерь. Например, во-первых, модуль сжатия может быть выполнен с возможностью применять любой известный метод сжатия, как, например, но не в качестве ограничения, JPEG 2000, MotionJPEG, любой основанный на DCT кодек, любой кодек, выполненный с возможностью сжатия RGB видеоданных, Н.264, MPEG4, Huffman или другие способы.

[0060] В зависимости от типа используемого метода сжатия разные параметры метода сжатия могут быть установлены так, что будут достигнуты выходные данные визуально без потерь. Например, многие из указанных выше методов сжатия могут быть настроены на разные скорости сжатия, причем при распаковке получаемое в результате изображение будет лучшего качества при более низких скоростях сжатия и худшего качества при более высоких скоростях сжатия. Таким образом, модуль сжатия может быть выполнен с возможностью сжатия видеоданных таким образом, что при этом обеспечены выходные данные визуально без потерь или может быть выполнен с возможностью регулирования пользователем различных параметров для получения выходных данных визуально без потерь. Например, модуль 22 сжатия может быть выполнен с возможностью сжатия видеоданных с коэффициентом сжатия примерно 6:1, 7:1, 8:1 или с более высоким коэффициентом. В некоторых вариантах реализации модуль 22 может быть выполнен с возможностью сжатия видеоданных в соотношении 12:1 или в большем соотношении.

[0061] Помимо этого модуль 22 может быть выполнен с возможностью регулирования пользователем степени сжатия, достигаемой модулем 22. Например, камера 10 может содержать интерфейс пользователя, который позволяет пользователю вводить команды, в соответствии с которыми модуль 22 меняет коэффициент сжатия. Таким образом, в некоторых вариантах реализации камера 10 может обеспечить сжатие с переменной степенью.

[0062] Используемый здесь термин "визуально без потерь" относится к таким выходным данным, которые, будучи сопоставленными с исходными (не подвергавшимися сжатию) видеоданными на одном и том же дисплее, не позволят специалисту определить с высокой степенью точности, основываясь только на осмотре изображений, какое изображение является исходным.

[0063] Камера 10 также может включать запоминающее устройство 24 (фиг.1), которое может представлять собой любое цифровое запоминающее устройство, например, но не в качестве ограничения, жесткие диски, флэш-память или любой другой вид запоминающего устройства. В некоторых вариантах реализации емкость устройства 24 может быть достаточно большой, чтобы хранить видеоданные, поступающие с модуля 22 и соответствующие не менее чем 30 минутам видеозаписи с разрешением 12 мегапикселей, с цветовым разрешением 12 битов и частотой кадров 60 кадров в секунду. Однако устройство 24 может иметь любую емкость.

[0064] В некоторых вариантах реализации устройство 24 может быть установлено на внешней части корпуса 12. Более того, в некоторых вариантах реализации устройство 24 может быть соединено с другими компонентами системы 14 через стандартные коммуникационные порты, включая, например, но не в качестве ограничения, IEEE 1394, USB 2.0, IDE, SATA и т.д. Более того, в некоторых вариантах реализации устройство 24 может содержать несколько жестких дисков, функционирующих в соответствии с протоколом RAID. Однако может быть использован любой тип запоминающего устройства.

[0065] Как было отмечено выше, в некоторых вариантах реализации система может включать модуль 26 монитора и дисплей 30 (фиг.1), выполненные с возможностью отображения для пользователя видеоданных, зарегистрированных датчиком 18 изображения в ходе эксплуатации. В некоторых вариантах реализации модуль 20 обработки изображений может включать систему понижения разрешения, выполненную таким образом, чтобы выводить видеоданные с более низким разрешением на модуль 26. Например, такая система понижения разрешения может быть выполнена с возможностью выводить видеоданные, поддерживая разрешение 2К, 1080р, 720р или любое другое. В некоторых вариантах реализации фильтры, используемые для демозаика, могут быть настроены для проведения фильтрации в условиях пониженного разрешения, с тем чтобы понижение разрешения и фильтрация могли бы проводиться одновременно. Модуль 26 может быть выполнен с возможностью проведения любого вида демозаика по отношению к видеоданным, поступающим из модуля 20. После этого модуль 26 может выводить прошедшие демозаик видеоданные на дисплей 30.

[0066] Дисплей 30 может принадлежать к любому типу устройств отображения. Например, но не в качестве ограничения, дисплей 30 может представлять собой четырехдюймовую жидкокристаллическую панель, которой оснащен корпус 12. Например, в некоторых вариантах реализации дисплей 30 может быть соединен с опорой, положение которой можно неограниченно регулировать и которая выполнена с возможностью установления дисплея 30 в любое положение относительно корпуса 12, для того чтобы пользователь мог видеть дисплей 30 под любым углом по отношению к корпусу 12. В некоторых вариантах реализации дисплей 30 может быть соединен с модулем монитора посредством видеокабелей любого типа, таких как, например, видеокабель RGB- или YCC-сигнала.

[0067] Дополнительно модуль 28 воспроизведения может быть выполнен с возможностью получения данных из запоминающего устройства 24, распаковки видеоданных и проведения над ними демозаика, а затем их вывода на дисплей 30. В некоторых вариантах реализации модуль 26 и модуль 28 могут быть соединены с дисплеем через промежуточный контроллер дисплея (не показан). Дисплей 30 может быть соединен одиночным соединителем с контроллером дисплея. Контроллер дисплея может быть выполнен с возможностью передавать видеоданные с модуля 26 или с модуля 28 на дисплей 30.

[0068] На фиг.8 представлена функциональная схема 50, поясняющая обработку видеоданных камерой 10. Применительно к некоторым вариантам реализации функциональная схема 50 может представлять программу управления, хранящуюся в запоминающем устройстве, например в запоминающем устройстве 24, или другом запоминающем устройстве (не показано) в камере 10. Кроме того, центральный процессор (ЦП) (не показан) может быть выполнен с возможностью выполнять программу управления. Приведенное далее описание способов, соответствующих функциональной схеме 50 приведено в контексте обработки единичного кадра видеоданных. Таким образом, приемы могут быть применены к обработке единичного статического изображения. Эти процессы также могут быть применены к обработке длительного видеоизображения, например, с частотой кадров более 12 кадров, а также видеоизображений с частотой кадров 20; 23,976; 24; 30; 60 и 120; или же другими частотами кадров в приведенном диапазоне, или большими.

[0069] Также со ссылкой на фиг.8, необходимо отметить, что выполнение программы управления может начинаться с рабочего блока 52. В блоке 52 камера 10 может получать данные от датчиков. Например, как показано на фиг.1, датчик 18 изображения, который может содержать датчик на основе фильтра Байера и набор микросхем, может осуществлять вывод видеоданных.

[0070] Например, но не в качестве ограничения, как показано на фиг.3, датчик изображения может содержать КМОП-устройство, имеющее фильтр на основе шаблона Байера, со стороны поверхности, принимающей световой сигнал. Таким образом, сфокусированное изображение от компонентов 16 оптической системы фокусируется на фильтре на основе шаблона Байера, расположенном на КМОП-устройстве датчика 18 изображения. На фиг.3 приведен пример шаблона Байера, созданного путем размещения фильтра на основе шаблона Байера на КМОП-устройстве.

[0071] На фиг.3 столбец m является четвертым столбцом от левого края шаблона Байера, а ряд n является четвертым рядом, считая от верхнего края шаблона. Оставшиеся столбцы и ряды помечены по отношению к столбцу m и ряду n. Однако эта схема выбрана условно для иллюстративных целей и не ограничивает никакие из раскрываемых вариантов реализации или изобретений.

[0072] Как было отмечено выше, известные фильтры на основе шаблона Байера часто включают в два раза больше зеленых элементов, чем красных и синих. В шаблоне, представленном на фиг.5, синие элементы появляются только в рядах n-3, n-1, n+1 и n+3. Красные элементы появляются только в рядах n-2, n, n+2 и n+4. Однако зеленые элементы появляются во всех рядах и столбцах, перемежаясь с красными и синими элементами.

[0073] Таким образом, в рабочем блоке 52 полученные с датчика 18 изображения выходные видеоданные, представляющие красный, синий и зеленый цвета, могут быть получены с помощью модуля 20 обработки изображений и упорядочены в виде компонентов данных, каждый из которых соответствует одному из цветов, как, например, представлено на фиг.7. Как показано на фиг.7, и как описано выше в связи с фиг.4, модуль 20 может делить видеоданные, представляющие красный, синий и зеленый цвета, на четыре отдельных компонента. На фиг.7 представлены два зеленых компонента (Зеленый 1 и Зеленый 2), голубой компонент и красный компонент. Однако это всего лишь один из примеров того, как можно обрабатывать видеоданные, поступающие от датчика 18. К тому же, как было отмечено выше, модуль 20 в качестве одной из дополнительных функций может произвольно или выборочно удалить 1/2 видеоданных, представляющих зеленый цвет.

[0074] После рабочего блока 52 функциональная схема 50 может продолжиться рабочим блоком 54, в котором видеоданные могут быть дальше обработаны. Например, в качестве одного из вариантов, любой вид или все из результирующих данных (например, зеленый 1, зеленый 2, видеоданные, представляющие синий цвет, с фиг.9, и видеоданные, представляющие красный цвет, с фиг.10) могут и далее быть обработаны.

[0075] Например, в видеоданные могут быть внесены предыскажения или они могут быть обработаны другими способами. В некоторых вариантах реализации видеоданные могут быть обработаны, чтобы быть более нелинейными (в математическом смысле). Некоторые алгоритмы сжатия выигрывают от того, что производят подобную линеаризацию на элементах изображения перед сжатием. Однако могут быть использованы и другие приемы. Например, видеоданные могут быть обработаны при помощи линейной кривой, по существу не обеспечивающей предыскажений.

[0076] В некоторых вариантах реализации рабочий блок 54 может обрабатывать видеоданные, используя кривую, заданную функцией y=x^0,5. В некоторых вариантах реализации эта кривая может быть использована там, где находились видеоданные, например, но не в качестве ограничения, данные о плавающей точке в нормированном диапазоне 0-1. В других вариантах реализации, например, в тех, где видеоданные представлены 12-битовыми данными, изображение может быть обработано с помощью кривой y=(x/4095) 0,5. Кроме того, видеоданные могут быть обработаны и другими кривыми, такими как y=(х+с) g, где 0,01<g<1 и с - это смещение, которое в некоторых вариантах реализации может быть равно 0. Кроме того, могут быть использованы и логарифмические кривые. Например, кривые в виде y=A*log(B*x+C), где А, В, и С являются постоянными величинами, выбранными для того, чтобы обеспечивать требуемые результаты. Кроме того, вышеуказанные кривые и процессы могут быть модифицированы с целью обеспечить более линейные области вблизи черного цвета подобно приемам, используемым в хорошо известной гамма-кривой Rec709. При применении этих процессов к видеоданным, одни и те же процессы могут быть применены ко всем видеоданным или же разные процессы могут быть применены к видеоданным, представляющим разные цвета. Однако, это всего лишь примеры кривых, которые могут быть использованы при обработке видеоданных, могут быть также использованы кривые или преобразования. К тому же, эти способы обработки могут быть применены с использованием математических функций, подобных тем, которые были отмечены выше, или таблиц преобразования. К тому же, разные способы, приемы и преобразования могут быть использованы применительно к разным типам видеоданных, разные настройки чувствительности могут быть использованы при записи видеоданных, температура (которая может влиять на уровень шумов) и т.д.

[0077] После рабочего блока 54 функциональная схема 50 может продолжиться рабочим блоком 56, в котором могут быть преобразованы красные и синие элементы изображения. Например, как было отмечено выше, видеоданные, представляющие зеленый цвет, могут быть вычтены из синего или зеленого компонента видеоданных. В некоторых вариантах реализации величина данных, представляющих синий или красный цвет, может быть преобразована путем вычитания величины видеоданных, представляющих зеленый цвет, по меньшей мере из одного зеленого элемента изображения, находящегося рядом с красным или синим элементом изображения. В некоторых вариантах реализации среднее значение величины данных, характеризующей расположенные рядом зеленые элементы изображения, может быть вычтена из величины, характеризующей красный или синий цвет. Например, но не в качестве ограничения, средние значения 2, 3, 4 или большего количества величин данных, представляющих зеленый цвет, могут быть рассчитаны и вычтены из красных или синих элементов изображения вблизи зеленых элементов изображения.

[0078] Например, но не в качестве ограничения, как показано на фиг.3, исходные выходные данные для красного элемента R_m-2,n-2 окружены четырьмя зелеными элементами G_m-2,n-3, G_m-1,n-2, G_m-2,n-2 и G_m-2,n-1 изображения. Таким образом, красный элемент R_m-2,n-2 может быть преобразован путем вычитания среднего значения величин окружающих зеленых элементов следующим образом:

[0079] Аналогично, синие элементы могут быть таким же образом преобразованы путем вычитания среднего значения величин окружающих зеленых элементов следующим образом:

[0080] На фиг.9 представлен образующийся в результате синий компонент данных, в котором преобразованы исходные данные B_m-1,_n-1, представляющие синий цвет, причем новая величина обозначается как B _m-1,n-1 (заполняется только одна величина в компоненте, а для всех синих элементов могут быть использованы одни и те же способы). Таким же образом на фиг.10 представлен преобразованный красный компонент данных, причем преобразованный красный элемент R_m-2,n-2 обозначается как R _m-2,n-2. В этом состоянии видеоданные могут по-прежнему считаться "исходными". Например, математические действия, осуществляемые над видеоданными, полностью обратимы, так что изначальные величины могут быть получены путем реверсирования этих процессов.

[0081] Также со ссылкой на фиг.8 необходимо отметить, что после рабочего блока 56 функциональная схема 50 может продолжиться рабочим блоком 58, в котором получаемые данные, являющиеся исходными или которые в значительной степени могут быть исходными, могут и далее быть сжаты с применением любого известного алгоритма сжатия. Например, модуль сжатия 22 (фиг.1) может быть выполнен с возможностью выполнения такого алгоритма сжатия. После сжатия сжатые исходные видеоданные могут храниться в запоминающем устройстве 24 (фиг.1).

[0082] На фиг.8А представлена модификация функциональной схемы 50, обозначенная 50 . Некоторые этапы, описанные выше со ссылками на функциональную схему 50, могут быть похожими или совпадать с соответствующими этапами на функциональной схеме 50 и, таким образом, обозначаются теми же позиционными обозначениями.

[0083] Как представлено на фиг.8А, в функциональной схеме 50' в некоторых вариантах реализации может отсутствовать рабочий блок 54. В некоторых вариантах реализации функциональная схема 50' может также включать рабочий блок 57, в котором к видеоданным может быть применена таблица преобразования. Например, дополнительная таблица преобразования, которой соответствует кривая на фиг.11, может быть использована для усиления последующего сжатия. В некоторых вариантах реализации таблица преобразования, которой соответствует кривая на фиг.11, используется только для зеленых элементов изображения. В других вариантах реализации таблица преобразования может быть использована также для красных и синих элементов изображения. Такая же таблица преобразования может быть использована для трех разных цветов, или же каждый цвет может иметь свою таблицу преобразования. Кроме того, могут быть применены иные способы обработки, отличающиеся от тех, которые представлены кривой на фиг.11.

[0084] При обработке видеоданных вышеописанным способом, как это представлено на фиг.8 и 8А, было обнаружено, что видеоданные от датчика 18 изображения могут быть сжаты с коэффициентом сжатия от 6 до 1 или с большим коэффициентом и остаться визуально без потерь. В дополнение к этому, хотя видеоданные были преобразованы, (например, путем вычитания видеоданных, представляющих зеленый цвет), все исходные видеоданные по-прежнему доступны конечному пользователю. Например, при реверсировании некоторых процессов все или в значительной мере все исходные необработанные данные могут быть извлечены и, таким образом, далее подвергнуты обработке, фильтрации и/или демозаику с использованием любого процесса по выбору пользователя.

[0085] Например, со ссылкой на фиг.12, данные, хранимые в устройстве 24, могут быть распакованы и подвергнуты демозаику. Кроме того, камера 10 может быть выполнена с возможностью осуществления способа, представленного функциональной схемой 60. Например, но не в качестве ограничения, модуль 28 воспроизведения может быть выполнен с возможностью осуществления способа, представленного функциональной схемой 60. Однако пользователь может также перенести видеоданные из устройства 24 на отдельную рабочую станцию и применять любые этапы и/или операции функциональной схемы 60.

[0086] Также со ссылкой на фиг.12 необходимо отметить, что функциональная схема 60 может начинаться с рабочего блока 62, в котором распаковываются данные из устройства 24. Например, распаковка данных в рабочем блоке 62 может быть обратной по отношению к алгоритму сжатия, осуществляемому в рабочем блоке 58 (фиг.8). После рабочего блока 62 функциональная схема 60 может продолжиться рабочим блоком 64.

[0087] В рабочем блоке 64 процесс, осуществляемый в рабочем блоке 56 (фиг.8), может быть реверсирован. Например, инверсия кривой, показанной на фиг.11, или инверсия любой из других функций, описанных выше со ссылкой на рабочий блок 56, представленный на фиг.8 и 8А, могут быть применены к видеоданным. После рабочего блока 64 функциональная схема 60 может продолжиться этапом 66.

[0088] В рабочем блоке 66 зеленые элементы изображения могут быть подвергнуты демозаику. Например, как было отмечено выше, все величины из компонентов данных Зеленый 1 и/или Зеленый 2 (фиг.7) могут быть сохранены в устройстве 24. Например, как представлено на фиг.5, видеоданные, представляющие зеленый цвет, из компонентов данных Зеленый 1 и Зеленый 2 могут быть размещены в соответствии с исходным шаблоном Байера, примененным к датчику 18 изображения. Данные, представляющие зеленый цвет, могут далее быть подвергнуты демозаику с применением любого известного способа, такого как, например, линейная интерполяция, билинейная интерполяция и т.д.

[0089] На фиг.13 представлен пример структуры видеоданных, представляющих зеленый цвет, полученных демозаиком из всех исходных видеоданных, представляющих зеленый цвет. Зеленые элементы изображения, обозначаемые буквой G _x, представляют исходные необработанные (распакованные) видеоданные, а элементы, обозначаемые "DG_x", представляют элементы, полученные из исходных данных посредством процесса демозаика. Эти обозначения используются с учетом дальнейших описаний процесса демозаика применительно к другим цветам. На фиг.14 представлен пример структуры видеоданных, которые были получены демозаиком из 1/2 исходных видеоданных, представляющих зеленый цвет.

[0090] Также со ссылкой на фиг.12 необходимо отметить, что функциональная схема 60 после рабочего блока 66 может продолжиться рабочим блоком 68. В блоке 68 подвергнутые демозаику видеоданные, представляющие зеленый цвет, могут быть далее обработаны. Например, но не в качестве ограничения, к видеоданным, представляющим зеленый цвет, могут быть применены способы снижения уровня шумов. Однако любые другие способы обработки изображений, такие как способы подавления помех, также могут быть применены к видеоданным, представляющим зеленый цвет. После рабочего блока 68 функциональная схема 60 может продолжиться рабочим блоком 70.

[0091] В блоке 70 видеоданные, представляющие красный и синий цвета, может быть подвергнуты демозаику. Например, во-первых, видеоданные, представляющие синий цвет, представленные на фиг.9, могут быть перегруппированы в соответствии с исходным шаблоном Байера (фиг.15). Окружающие элементы, как представлено на фиг.16, могут быть получены демозаиком из имеющихся видеоданных, представляющих синий цвет, путем использования любого известного способа демозаика, включая линейную интерполяцию, билинейную интерполяцию и т.д. В результате этапа демозаика для каждого пиксела будут иметься видеоданные, представляющие синий цвет, как представлено на фиг.16. Однако эти видеоданные, представляющие синий цвет, были получены демозаиком на основе модифицированных видеоданных, представляющих синий цвет, представленных на фиг.9, т.е. на основе величин видеоданных, представляющих синий цвет, из которых были вычтены величины видеоданных, представляющих зеленый цвет.

[0092] Рабочий блок 70 может также включать процесс демозаика видеоданных, представляющих красный цвет. Например, видеоданные, представляющие красный цвет, представленные на фиг.10, могут быть перегруппированы в соответствии с оригинальным шаблоном Байера и далее подвергнуты демозаику посредством любого известного способа демозаика, включая линейную интерполяцию, билинейную интерполяцию и т.д.

[0093] После рабочего блока 70 функциональная схема может продолжиться рабочим блоком 72, в котором прошедшие демозаик видеоданные, представляющие красный и синий цвета, могут быть восстановлены из прошедших демозаик видеоданных, представляющих зеленый цвет.

[0094] В некоторых вариантах реализации каждый красный и синий элемент видеоданных может быть восстановлен путем включения величины, характеризующей зеленый цвет, из расположенного рядом зеленого элемента изображения (зеленый элемент изображения, расположенный в том же столбце "m" и в ряду "n"). Например, после демозаика видеоданные, представляющие синий цвет, включают величину DB_m-2,n-2 синего элемента. Поскольку оригинальный шаблон Байера, изображенный на фиг.3, не включал синий элемент в этом месте, данная величина DB_m-2,n-2, характеризующая синий цвет, была выведена через вышеуказанный процесс демозаика, на основе, например, величин, характеризующих синий цвет, из одного из элементов B_m-3,n-3, B_m-1,n-3, B_m-3,n-1, и B_m-1,n-1 или применяя любой другой способ или пользуясь другими синими элементами изображения. Как было отмечено выше, эти величины были модифицированы в рабочем блоке 54 (фиг.8) и, таким образом, они не соответствуют исходным видеоданным, представляющим синий цвет и распознанными датчиком 18 изображения. Наоборот, средняя величина, характеризующая зеленый цвет, была вычтена из каждой из этих величин. Таким образом, результирующие данные DB_m-2,n-2, представляющие синий цвет, также представляют собой данные, представляющие синий цвет, из которых были удалены данные, представляющие зеленый цвет. Таким образом, в одном варианте реализации прошедшие демозаик видеоданные, представляющие зеленый цвет, для элемента DG _m-2,n-2 могут быть прибавлены к величине DB_m-2,n-2 , характеризующей синий цвет, в результате чего будет получена восстановленная величина видеоданных, представляющих синий цвет.

[0095] Некоторые варианты реализации позволяют дополнительно восстановить видеоданные, представляющие синий и/или красный цвет, перед демозаиком. Например, преобразованные видеоданные B _m-1,n-1, представляющие синий цвет, могут сначала быть восстановлены путем добавления средней величины окружающих зеленых элементов. В результате этого будет получены или пересчитаны исходные видеоданные B_m-1,n-1, представляющие синий цвет. Этот процесс может быть осуществлен надо всеми видеоданными, представляющими синий цвет. Потом видеоданные, представляющие синий цвет, могут быть дополнительно подвергнуты демозаику с помощью любого известного способа демозаика. Видеоданные, представляющие красный цвет, могут также быть обработаны с помощью таких же или других аналогичных способов.

[0096] На фиг.12А представлена модификация функциональной схемы 60, обозначенная 60 . Некоторые из вышеописанных этапов из функциональной схемы 60 могут быть схожими или совпадать с некоторыми соответствующими этапами функциональной схемы 60' и, таким образом, обозначены так же.

[0097] Как показано на фиг.12А, функциональная схема 60 может включать рабочий блок 68 , следующий за рабочим блоком 62. В рабочем блоке 68 над видеоданными может быть проделана операция по снижению уровня шума. Например, но не в качестве ограничения, операции по снижению уровня шума могут быть проделаны над видеоданными, представляющими зеленый цвет. Однако, любые другие способы обработки изображений, например, способы подавления помех, могут также быть применены к видеоданным, представляющим зеленый цвет. После рабочего блока 68 функциональная схема может продолжиться рабочим блоком 70 .

[0098] В блоке 70 видеоданные могут быть подвергнуты демозаику. В приведенном выше описании, в том месте, где говорится о рабочих блоках 66 и 70, видеоданные, представляющие зеленый, красный и синий цвета, могут быть подвергнуты демозаику в два этапа. Однако в настоящей функциональной схеме 60 демозаик видеоданных, представляющих все три цвета, представлен в виде одного этапа, хотя одни и те же способы демозаика, описанные выше, могут быть использованы для этого процесса демозаика. После рабочего блока 70 функциональная схема может продолжиться рабочим блоком 72, в котором может быть восстановлены видеоданные, представляющие красный и синий цвета, и рабочим блоком 64, в котором может быть применена таблица обратных преобразований.

[0099] После того как видеоданные были распакованы и обработаны в соответствии или с функциональной схемой 70 или 70 , или с другим подходящим процессом, видеоданные могут далее быть обработаны в качестве прошедших демозаик видеоданных.

[0100] Некоторые другие преимущества могут быть достигнуты путем демозаика видеоданных, представляющих зеленый цвет, перед восстановлением видеоданных, представляющих красный и синий цвета. Например, как было отмечено выше, человеческий глаз более чувствителен к зеленому свету. Демозаик и обработка видеоданных, представляющих зеленый цвет, оптимизируют величины, характеризующие зеленое изображение, по отношению к которым человеческий глаз является более чувствительным. Таким образом, на последующее восстановление видеоданных, представляющих красный и синий цвета, повлияет обработка видеоданных, представляющих зеленый цвет.

[0101] Кроме того, шаблоны Байера имеют в два раза больше зеленых элементов, чем красных и синих. Таким образом, в тех вариантах реализации, где сохраняются все зеленые элементы, имеется в два раза больше видеоданных для зеленых элементов по сравнению или с красными или синими элементами данных. Таким образом, способы демозаика, фильтры и другие способы обработки изображений позволяют получить в результате изображение с лучшим демозаиком, большей резкостью или другими улучшенными характеристиками в результате любой другой обработки. Использование этих прошедших демозаик величин для восстановления и демозаика видеоданных, представляющих красный и синий цвета, позволяет использовать преимущества, связанные с более высоким разрешением исходных видеоданных, представляющих зеленый цвет, в обработке, восстановлении и демозаике красных и синих элементов. Соответственно, результирующее изображение дополнительно улучшено.