способ и устройство обработки изображения
| Классы МПК: | G06F7/20 сравнение нескольких наборов носителей информации, расположенных в одинаковой последовательности, для определения тождественности данных в одном из наборов с данными другого набора или наборов |
| Автор(ы): | НАКАГАМИ Одзи (JP), ТАНАКА Дзунити (JP), НАГУМО Такефуми (JP), ЯГАСАКИ Ёити (JP) |
| Патентообладатель(и): | СОНИ КОРПОРЕЙШН (JP) |
| Приоритеты: |
подача заявки:
2009-07-24 публикация патента:
10.02.2014 |
Изобретение относится к вычислительной технике. Технический результат заключается в формировании прогнозируемого изображения с высокой точностью без увеличения процессорной нагрузки. Устройство обработки изображения содержит средства компенсации движения для выполнения компенсации движения с использованием в качестве опорных кадров множества кадров, образованных изображениями, полученными посредством декодирования кодированных изображений, и с использованием векторов движения, включенных в кодированные изображения, и для генерации множества изображений с компенсацией движения, соответствующих прогнозируемому изображению, на основе разных опорных кадров; первые средства фильтрации для применения фильтра нижних частот к разностному изображению между множеством изображений с компенсацией движения, генерируемых с использованием средств компенсации движения; вторые средства фильтрации для применения фильтра верхних частот к изображению, полученному первыми средствами фильтрации путем применения фильтра нижних частот; и средства генерации прогнозируемого изображения для генерации прогнозируемого изображения посредством добавления изображения, полученного первыми средствами фильтрации и изображения, полученного вторыми средствами фильтрации, к одному из множества изображений с компенсацией движения, сгенерированных средствами компенсации движения. 4 н. и 6 з.п. ф-лы, 27 ил. 
Формула изобретения
1. Устройство обработки изображения, содержащее:
средства компенсации движения для выполнения компенсации движения с использованием в качестве опорных кадров множества кадров, образованных изображениями, полученными посредством декодирования кодированных изображений, и с использованием векторов движения, включенных в кодированные изображения, и для генерации множества изображений с компенсацией движения, соответствующих прогнозируемому изображению, на основе разных опорных кадров;
первые средства фильтрации для применения фильтра нижних частот к разностному изображению между множеством изображений с компенсацией движения, генерируемых с использованием средств компенсации движения;
вторые средства фильтрации для применения фильтра верхних частот к изображению, полученному первыми средствами фильтрации путем применения фильтра нижних частот; и
средства генерации прогнозируемого изображения для генерации прогнозируемого изображения посредством добавления изображения, полученного первыми средствами фильтрации путем применения фильтра нижних частот, и изображения, полученного вторыми средствами фильтрации путем применения фильтра верхних частот, к одному из множества изображений с компенсацией движения, сгенерированных средствами компенсации движения.
2. Устройство обработки изображения по п.1, дополнительно содержащее декодирующие средства для декодирования кодированных изображений с использованием прогнозируемого изображения, сгенерированного средствами генерации прогнозируемого изображения.
3. Устройство обработки изображения по п.2, в котором средства компенсации движения выполнены с возможностью выбора в качестве опорных кадров кадра, предшествующего прогнозируемому изображению на один кадр, и кадра, предшествующего прогнозируемому изображению на два кадра.
4. Устройство обработки изображения по п.3, в котором средства генерации прогнозируемого изображения выполнены с возможностью добавления изображения, полученного первыми средствами фильтрации путем применения фильтра нижних частот, и изображения, полученного вторыми средствами фильтрации путем применения фильтра верхних частот, к изображению с компенсацией движения, выделенному из кадра, предшествующего прогнозируемому изображению на один кадр.
5. Устройство обработки изображения по п.4, дополнительно содержащее:
средства однонаправленного прогнозирования для выполнения однонаправленного прогнозирования с использованием множества изображений с компенсацией движения и для генерации прогнозируемого изображения; и
средства двунаправленного прогнозирования для выполнения двунаправленного прогнозирования с использованием множества изображений с компенсацией движения и для генерации прогнозируемого изображения,
при этом средства генерации прогнозируемого изображения выполнены с возможностью обращения к идентификационному флагу, включенному в кодированное изображение, для выбора
генерации прогнозируемого изображения с использованием однонаправленного прогнозирования посредством средств однонаправленного прогнозирования,
генерации прогнозируемого изображения с использованием двунаправленного прогнозирования посредством средств двунаправленного прогнозирования, или
генерации прогнозируемого изображения путем применения фильтра нижних частот к разностному изображению между множеством изображений с компенсацией движения, применения фильтра верхних частот к изображению, полученному в результате применения фильтра нижних частот, и добавления изображения, полученного в результате применения фильтра нижних частот, и изображения, полученного в результате применения фильтра верхних частот, к одному из множества изображений с компенсацией движения.
6. Способ обработки изображения, содержащий:
этап компенсации движения, на котором выполняют компенсацию движения с использованием в качестве опорных кадров множества кадров, образованных изображениями, полученными путем декодирования кодированных изображений, и с использованием векторов движения, включенных в кодированные изображения, и генерируют множество изображений с компенсацией движения, соответствующих прогнозируемому изображению, на основе разных опорных кадров;
первый этап фильтрации, на котором применяют фильтр нижних частот к разностному изображению между множеством изображений с компенсацией движения, сгенерированных на этапе компенсации движения;
второй этап фильтрации, на котором применяют фильтр верхних частот к изображению, полученному на первом этапе фильтрации путем применения фильтра нижних частот; и
этап генерации прогнозируемого изображения, на котором генерируют прогнозируемое изображение посредством добавления изображения, полученного на первом этапе фильтрации путем применения фильтра нижних частот, и изображения, полученного на втором этапе фильтрации путем применения фильтра верхних частот, к одному из множества изображений с компенсацией движения, сгенерированных на этапе компенсации движения.
7. Устройство обработки изображения, содержащее:
средства определения для определения вектора движения на основе изображения, получаемого посредством локального декодирования на основе остаточного изображения, характеризующего разность между оригинальным изображением, подлежащим кодированию, и прогнозируемым изображением, и на основе оригинального изображения;
средства компенсации движения для выполнения компенсации движения с использованием в качестве опорных кадров множества кадров, образованных изображениями, получаемыми посредством локального декодирования, и с использованием вектора движения, определенного средствами определения и для выделения из разных опорных кадров множества изображений с компенсацией движения, соответствующих прогнозируемому изображению;
первые средства фильтрации для применения фильтра нижних частот к разностному изображению между множеством изображений с компенсацией движения, выделенными с использованием средств компенсации движения;
вторые средства фильтрации для применения фильтра верхних частот к изображению, полученному первыми средствами фильтрации путем применения фильтра нижних частот; и
средства генерации прогнозируемого изображения для генерации прогнозируемого изображения посредством добавления изображения, получаемого первыми средствами фильтрации путем применения фильтра нижних частот, и изображения, получаемого вторыми средствами фильтрации путем применения фильтра верхних частот, к одному из множества изображений с компенсацией движения, выделенных средствами компенсации движения.
8. Устройство обработки изображения по п.7, дополнительно содержащее кодирующие средства для кодирования оригинального изображения с использованием прогнозируемого изображения, сгенерированного средствами генерации прогнозируемого изображения.
9. Устройство обработки изображения по п.8, дополнительно содержащее средства управления для описания в кодированном изображении, полученном путем кодирования оригинального изображения, флага, идентифицирующего
генерацию прогнозируемого изображения с использованием однонаправленного прогнозирования для добавления к изображению, подлежащему декодированию,
генерацию прогнозируемого изображения с использованием двунаправленного прогнозирования для добавления к изображению, подлежащему декодированию, или
генерацию прогнозируемого изображения для добавления к изображению, подлежащему декодированию, путем применения фильтра нижних частот к разностному изображению между множеством изображений с компенсацией движения, применения фильтра верхних частот к изображению, полученному в результате применения фильтра нижних частот, и добавления изображения, полученного в результате применения фильтра нижних частот, и изображения, полученного в результате применения фильтра верхних частот, к одному из множества изображений с компенсацией движения.
10. Способ обработки изображения, содержащий
этап определения, на котором определяют вектор движения на основе изображения, полученного посредством локального декодирования на основе остаточного изображения, характеризующего разность между оригинальным изображением, подлежащим кодированию, и прогнозируемым изображением, и на основе оригинального изображения;
этап компенсации движения, на котором выполняют компенсацию движения с использованием в качестве опорных кадров множества кадров, образованных изображениями, полученными посредством локального декодирования, и с использованием векторов движения, определенных на этапе определения, и выделяют множество изображений с компенсацией движения, соответствующих прогнозируемому изображению, из разных опорных кадров;
первый этап фильтрации, на котором применяют фильтр нижних частот к разностному изображению между множеством изображений с компенсацией движения, выделенных на этапе компенсации движения;
второй этап фильтрации, на котором применяют фильтр верхних частот к изображению, полученному на первом этапе фильтрации путем применения фильтра нижних частот; и
этап генерации прогнозируемого изображения, на котором генерируют прогнозируемое изображение посредством добавления изображения, полученного на первом этапе фильтрации путем применения фильтра нижних частот, и изображения, полученного на втором этапе фильтрации путем применения фильтра верхних частот, к одному из множества изображений с компенсацией движения, выделенных на этапе компенсации движения.
Описание изобретения к патенту
Область техники, к которой относится изобретение
Настоящее изобретение относится к способу и устройству обработки изображения и более конкретно к способу и устройству обработки изображения, которые позволяют генерировать прогнозируемое изображение с высокой точностью без увеличения процессорной нагрузки.
Уровень техники
Обычно в качестве схем кодирования для обработки движущихся изображений применяют алгоритмы кодирования с использованием компенсации движения, такие как MPEG (Группа экспертов по движущимся изображениям) или H.26x, и ортогональные преобразования, такие как дискретное косинусное преобразование, преобразование Карунена-Лоэва или вэйвлетное преобразование (преобразование по элементарным волнам). В таких способах кодирования движущихся изображений уменьшение объема кода достигается путем использования корреляции в пространственном направлении и по оси времени между характеристиками входного сигнала изображения, который подлежит кодированию.
Например, согласно стандарту H.264, применяют однонаправленное или двунаправленное прогнозирование в процессе генерации интер-кадра, т.е. кадра, который должен быть подвергнут обработке с межкадровым прогнозированием (интерпрогнозирование) с использованием корреляции в направлении оси времени. Межкадровое прогнозирование разработано для генерации прогнозируемого изображения на основе кадров, имеющих место в разные моменты времени.
Фиг.1 представляет схему, иллюстрирующую пример однонаправленного прогнозирования.
Как показано на фиг.1, когда подлежащий кодированию кадр Р0, т.е. кадр, соответствующий текущему моменту времени, генерируют с использованием однонаправленного прогнозирования, компенсацию движения осуществляют с применением в качестве опорных кадров уже кодированного кадра, соответствующего прошедшему или будущему моменту времени относительно текущего момента времени. Остаточную погрешность между прогнозируемым изображением и реальным изображением кодируют с применением корреляции в направлении оси времени, что позволяет уменьшить объем кода. Информацию опорного кадра и вектор движения используют, соответственно, в качестве информации, определяющей опорный кадр, и информации, определяющей опорную позицию в этом опорном кадре, и передают эти блоки информации от кодирующей стороны декодирующей стороне.
Здесь число опорных кадров не ограничено одним. Например, согласно стандарту H.264 можно использовать несколько кадров в качестве опорных кадров. Как показано на фиг.1, если два кадра, расположенных во времени ближе к подлежащему кодированию кадру Р0 , обозначены в качестве опорных кадров R0 и R 1 в этом порядке, величину пиксела в произвольном макроблоке в составе подлежащего кодированию кадра Р0, можно предсказать на основе величины произвольного пиксела в опорном кадре R0 или R1.
На фиг.1 прямоугольник, выделенный внутри каждого кадра, представляет макроблок. Если в подлежащем кодированию кадре Р0 макроблок, который нужно прогнозировать, представлен макроблоком МВP0, тогда в опорном кадре R0 этому макроблоку МВP0 соответствует макроблок MBR0, определяемый вектором движения MV0. Кроме того, в опорном кадре R1 рассматриваемому макроблоку соответствует макроблок MBR1, определяемый вектором движения MV1 .
Если величины пикселов в макроблоках MB R0 и MBR1 (значения пикселов в изображениях с компенсацией движения) обозначить MC0 (i, j) и MC 1 (i, j), тогда величина одного из пикселов в изображениях с компенсацией движения используется в качестве величины пиксела прогнозируемого изображения для случая однонаправленного прогнозирования. Таким образом, прогнозируемое изображение Pred (i, j) представлено уравнением (1) ниже. Здесь (i, j) обозначает относительное положение пиксела в макроблоке и удовлетворяет условию 0
i 16 и 0 j 16. В уравнении (1), знак "||" указывает, что берут только одну из величин MC0 (i, j) или MC 1 (i, j).
Отметим, что можно также разбить один макроблок размером 16×16 пикселов на субблоки размером 16×8 пикселов или подобные субблоки и выполнить компенсацию движения для каждого субблока с применением ссылки на разные опорные кадры. Вместо векторов движения с целочисленной погрешностью передают векторы движения с десятичной погрешностью и выполняют интерполяцию с применением фильтра с конечной импульсной характеристикой (FIR) или КИХ-фильтра, определенного в стандарте, делая тем самым возможным использовать величины пикселов, окружающих соответствующую точку, в качестве опоры для компенсации движения.
Фиг.2 представляет схему, иллюстрирующую пример двунаправленного прогнозирования.
Как показано на фиг.2, когда подлежащий кодированию кадр B0, т.е. кадр, соответствующий текущему моменту времени, генерируют с использованием двунаправленного прогнозирования, компенсацию движения осуществляют с применением, в качестве опорных кадров, уже кодированных кадров, соответствующих прошедшим и будущим моментам времени относительно текущего момента времени. Остаточную погрешность между прогнозируемым изображением и реальным изображением кодируют с применением нескольких уже кодированных кадров в качестве опорных кадров и с использованием корреляции между ними, что позволяет уменьшить объем кода. Согласно стандарту Н.264 можно также в качестве опорных кадров использовать несколько кадров из прошлого и несколько кадров из будущего.
Как показано на фиг.2, если кадр из прошлого и кадр из будущего относительно подлежащего кодированию кадра B0 выбраны в качестве опорных кадров L0 и L1, величину пиксела в произвольном макроблоке в составе подлежащего кодированию кадра B0 можно предсказать на основе величин произвольных пикселов в опорных кадрах L0 и L1.
В примере, показанном на фиг.2, макроблок опорного кадра L 0, соответствующий макроблоку МВB0 в подлежащем кодированию кадре В0, обозначен в качестве макроблока MBL0, определяемого вектором движения MV0 . Кроме того, макроблок опорного кадра L1, соответствующий макроблоку МВB0 в подлежащем кодированию кадре B 0, обозначен в качестве макроблока MBL1, определяемого вектором движения MV1.
Если величины пикселов в макроблоках MBL0 и MBL1 обозначить MC0 (i, j) и MC1 (i, j), соответственно, тогда величина пиксела Pred (i, j) в составе прогнозируемого изображения Pred (i, j) может быть определена как среднее значение для этих величин пикселов, согласно следующему уравнению (2).
При такой компенсации движения, как описано выше при рассмотрении однонаправленного прогнозирования, точность прогнозируемого изображения улучшается путем повышения точности вектора движения или уменьшения размеров макроблока, вследствие чего остаточная погрешность относительно реального изображения оказывается уменьшена, что обеспечивает повышение эффективности кодирования.
Более того, при компенсации движения с применением двунаправленного прогнозирования в качестве величины пиксела прогнозируемого изображения используют среднее значение величин пикселов опорных кадров, расположенных близко по времени, что делает возможным вероятностно стабильное уменьшение остаточной погрешности прогнозирования.
Перечень литературы
Патентная литература
NPL1: «Улучшение разрешения путем совмещения изображений», Михал Ирани и Шмуэль Пелег, Отделение компьютерных наук, Еврейский университет Иерусалима, 91904 Иерусалим, Израиль, передал Рама Хеллапа, получено 16 июня 1989 г.; принято 25 мая 1990 г. ("Improving Resolution by Image Registration", MICHAL IRANI AND SHMUEL PELEG, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990).
Раскрытие изобретения
Техническая задача
В случае обычного однонаправленного прогнозирования, даже если можно выбирать из нескольких опорных кадров, необходимо избирательно использовать величину пиксела из какого-либо одного из опорных кадров в качестве величины пиксела кодируемого кадра. Поэтому невыбранный опорный кадр не используется для компенсации движения. Таким образом, корреляции по времени между опорным кадром и кадром, подлежащим кодированию, не может быть использована в достаточной степени, вследствие чего может оставаться место для усовершенствования с точки зрения повышения эффективности кодирования.
Кроме того, в случае обычного двунаправленного прогнозирования в качестве величины пиксела кодируемого кадра используют среднее значение величин пикселов двух опорных кадров. Таким образом, осуществляется фильтрация нижних частот по времени, вследствие чего в прогнозируемом изображении оказываются утрачены высокочастотные составляющие. В результате, поскольку сигнал остаточной погрешности, включающий высокочастотные составляющие, кодировать уже невозможно, в изображении, полученном посредством декодирования, высокочастотные составляющие оказываются утрачены, что приводит к деградации разрешения изображения.
Настоящее изобретение было создано с учетом такой ситуации и предназначено для предоставления возможности генерации высокоточного прогнозируемого изображения без увеличения процессорной нагрузки.
Решение задачи
Устройство обработки изображения согласно одному из аспектов настоящего изобретения включает в себя средства компенсации движения для выполнения компенсации движения с использованием, в качестве опорных кадров, нескольких кадров изображения, полученных путем декодирования кодированных изображений, и с использованием векторов движения, включенных в эти кодированные изображения, и для генерации нескольких изображений с компенсацией движения, соответствующих прогнозируемому изображению, на основе разных опорных кадров; первые фильтрующие средства для применения фильтра нижних частот к разностному изображению между несколькими изображениями с компенсацией движения, генерируемыми с использованием средств компенсации движения; вторые фильтрующие средства для применения фильтра верхних частот к изображению, полученному первыми фильтрующими средствами путем применения фильтра нижних частот; и средства генерации прогнозируемого изображения для формирования прогнозируемого изображения посредством добавления изображения, полученного первыми фильтрующими средствами путем применения фильтра нижних частот, и изображения, полученного вторыми фильтрующими средствами путем применения фильтра верхних частот, к одному из нескольких изображений с компенсацией движения, сформированных средствами компенсации движения.
Устройство обработки изображения может дополнительно включать декодирующие средства для декодирования кодированных изображений с использованием прогнозируемого изображения, сгенерированного средствами генерации прогнозируемого изображения.
Средства компенсации движения могут выбирать в качестве опорных кадров кадр, предшествующий прогнозируемому изображению на один кадр, и кадр, предшествующий прогнозируемому изображению на два кадра.
Средства генерации прогнозируемого изображения могут добавлять изображение, полученное первыми фильтрующими средствами путем применения фильтра нижних частот, и изображение, полученное вторыми фильтрующими средствами путем применения фильтра верхних частот, к изображению с компенсацией движения, выделенному из кадра, предшествующего прогнозируемому изображению на один кадр.
Устройство для полной обработки изображения может дополнительно включать средства однонаправленного прогнозирования для выполнения однонаправленного прогнозирования с использованием нескольких изображений с компенсацией движения и для генерации прогнозируемого изображения; и средства двунаправленного прогнозирования для выполнения двунаправленного прогнозирования с использованием нескольких изображений с компенсацией движения и для генерации прогнозируемого изображения, а указанные средства генерации прогнозируемого изображения могут обращаться к идентификационному флагу, включенному в кодированное изображение, чтобы выбрать генерацию прогнозируемого изображения с использованием однонаправленного прогнозирования посредством средств однонаправленного прогнозирования, генерацию прогнозируемого изображения с использованием двунаправленного прогнозирования посредством средств двунаправленного прогнозирования или генерацию прогнозируемого изображения путем применения фильтра нижних частот к разностному изображению между несколькими изображениями с компенсацией движения, применения фильтра верхних частот к изображению, полученному в результате применения фильтра нижних частот, и добавления изображения, полученного в результате применения фильтра нижних частот, и изображения, полученного в результате применения фильтра верхних частот, к одному из нескольких изображений с компенсацией движения.
Способ обработки изображения согласно рассматриваемому аспекту настоящего изобретения включает этап компенсации движения для выполнения компенсации движения с использованием, в качестве опорных кадров, множества кадров, образованных изображениями, полученными путем декодирования кодированных изображений, и с использованием векторов движения, включенных в эти кодированные изображения, и генерации нескольких изображений с компенсацией движения, соответствующих прогнозируемому изображению, на основе разных опорных кадров; первый этап фильтрации посредством применения фильтра нижних частот к разностному изображению между несколькими изображениями с компенсацией движения, созданными на этапе компенсации движения; второй этап фильтрации посредством применения фильтра верхних частот к изображению, полученному на первом этапе фильтрации в результате применения фильтра нижних частот; и этап генерации прогнозируемого изображения для формирования прогнозируемого изображения посредством добавления изображения, полученного на первом этапе фильтрации в результате применения фильтра нижних частот, и изображения, полученного на втором этапе фильтрации в результате применения фильтра верхних частот, к одному из нескольких изображений с компенсацией движения, созданных на этапе компенсации движения.
Устройство обработки изображения согласно другому аспекту настоящего изобретения включает средства определения для определения вектора движения на основе изображения, получаемого в результате локального декодирования на основе остаточного изображения, характеризующего разность между оригинальным изображением, подлежащим кодированию, и прогнозируемым изображением, и на основе оригинального изображения; средства компенсации движения для выполнения компенсации движения с использованием, в качестве опорных кадров, множества кадров, образованных изображениями, полученными посредством локального декодирования, и использованием вектора движения, определенного средствами определения, и для выделения нескольких изображений с компенсацией движения, соответствующих прогнозируемому изображению, из разных опорных кадров; первые фильтрующие средства для применения фильтра нижних частот к разностному изображению между несколькими изображениями с компенсацией движения, выделенными с использованием средств компенсации движения; вторые фильтрующие средства для применения фильтра верхних частот к изображению, полученному первыми фильтрующими средствами путем применения фильтра нижних частот; и средства генерации прогнозируемого изображения для формирования прогнозируемого изображения посредством добавления изображения, полученного первыми фильтрующими средствами путем применения фильтра нижних частот, и изображения, полученного вторыми фильтрующими средствами путем применения фильтра верхних частот, к одному из множества изображений с компенсацией движения, выделенных средствами компенсации движения.
Устройство обработки изображения может дополнительно включать в себя кодирующие средства для кодирования оригинального изображения с использованием прогнозируемого изображения, сгенерированного средствами генерации прогнозируемого изображения.
Устройство обработки изображения может дополнительно включать средства управления для вставки в кодированное изображение, полученное в результате кодирования оригинального изображения, флага, идентифицирующего генерацию прогнозируемого изображения для добавления к изображению, подлежащему декодированию, с использованием однонаправленного прогнозирования, генерацию прогнозируемого изображения для добавления к изображению, подлежащему декодированию, с использованием двунаправленного прогнозирования или генерацию прогнозируемого изображения путем применения фильтра нижних частот к разностному изображению между множеством изображений с компенсацией движения, применения фильтра верхних частот к изображению, полученному в результате применения фильтра нижних частот, и добавления изображения, полученного в результате применения фильтра нижних частот, и изображения, полученного в результате применения фильтра верхних частот, к одному из нескольких изображений с компенсацией движения.
Способ обработки изображения согласно рассматриваемому другому аспекту настоящего изобретения включает этап определения для определения вектора движения на основе изображения, получаемого в результате локального декодирования на основе остаточного изображения, характеризующего разность между оригинальным изображением, подлежащим кодированию, и прогнозируемым изображением, и на основе оригинального изображения; этап компенсации движения для выполнения компенсации движения с использованием, в качестве опорных кадров, множества кадров, образованных изображениями, полученными посредством локального декодирования, и использованием векторов движения, определенных на этапе определения, и для выделения множества изображений с компенсацией движения, соответствующих прогнозируемому изображению, из разных опорных кадров; первый этап фильтрации для применения фильтра нижних частот к разностному изображению между множеством изображений с компенсацией движения, выделенными на этапе компенсации движения; второй этап фильтрации для применения фильтра верхних частот к изображению, полученному на первом этапе фильтрации путем применения фильтра нижних частот; и этап генерации прогнозируемого изображения для формирования прогнозируемого изображения посредством добавления изображения, полученного на первом этапе фильтрации путем применения фильтра нижних частот, и изображения, полученного на втором этапе фильтрации путем применения фильтра верхних частот, к одному из множества изображений с компенсацией движения, выделенных на этапе компенсации движения.
Согласно одному аспекту настоящего изобретения компенсацию движения выполняют с использованием, в качестве опорных кадров, множества кадров, образованных изображениями, полученными в результате декодирования кодированных изображений, и с использованием векторов движения, включенных в кодированные изображения; на основе разных опорных кадров генерируют множество изображений с компенсацией движения, соответствующих прогнозируемому изображению; к разностному изображению между множеством сгенерированных изображений с компенсацией движения применяют фильтр нижних частот; к изображению, полученному в результате применения фильтра нижних частот, применяют фильтр верхних частот; и генерируют прогнозируемое изображение посредством добавления изображения, полученного путем применения фильтра нижних частот, и изображения, полученного путем применения фильтра верхних частот, к одному из множества сформированных изображений с компенсацией движения.
Согласно другому аспекту настоящего изобретения вектор движения определяют на основе изображения, получаемого в результате локального декодирования на основе остаточного изображения, характеризующего разность между оригинальным изображением, подлежащим кодированию, и прогнозируемым изображением, и на основе оригинального изображения; компенсацию движения выполняют с использованием, в качестве опорных кадров, множества кадров, образованных изображениями, полученными посредством локального декодирования, и с использованием найденных векторов движения; множество изображений с компенсацией движения, соответствующих прогнозируемому изображению, выделяют из разных опорных кадров; к разностному изображению между множеством изображений с компенсацией движения, выделенными с использованием средств компенсации движения, применяют фильтр нижних частот; к изображению, полученному путем применения фильтра нижних частот, применяют фильтр верхних частот; и генерируют прогнозируемое изображение посредством добавления изображения, полученного путем применения фильтра нижних частот, и изображения, полученного путем применения фильтра верхних частот, к одному из множества выделенных изображений с компенсацией движения.
Результаты изобретения
Согласно настоящему изобретению можно сформировать прогнозируемое изображение с высокой точностью без увеличения процессорной нагрузки.
Краткое описание чертежей
Фиг.1 представляет схему, иллюстрирующую пример однонаправленного прогнозирования.
Фиг.2 представляет схему, иллюстрирующую пример двунаправленного прогнозирования.
Фиг.3 представляет блок-схему, иллюстрирующую пример конфигурации декодирующего устройства согласно одному из вариантов настоящего изобретения.
Фиг.4 представляет схему, иллюстрирующую принципы третьего режима прогнозирования.
Фиг.5 представляет блок-схему, иллюстрирующую пример конфигурации схемы прогнозирования/компенсации движения, показанной на фиг.3.
Фиг.6 представляет схему, иллюстрирующую пример опорных кадров.
Фиг.7 представляет схему, иллюстрирующую другой пример опорных кадров.
Фиг.8 представляет блок-схему, иллюстрирующую пример конфигурации схемы фильтрации, показанной на фиг.5.
Фиг.9 представляет логическую схему, описывающую последовательность операций процесса декодирования в декодирующем устройстве.
Фиг.10 представляет логическую схему, описывающую последовательность операций процесса прогнозирования/компенсации движения, выполняемого на этапе S9 на фиг.9.
Фиг.11 представляет блок-схему, иллюстрирующую пример конфигурации кодирующего устройства.
Фиг.12 представляет блок-схему, иллюстрирующую пример конфигурации схемы определения режима, показанной на фиг.11.
Фиг.13 представляет блок-схему, иллюстрирующую пример конфигурации схемы прогнозирования/компенсации движения, показанной на фиг.11.
Фиг.14 представляет логическую схему, описывающую последовательность операций процесса кодирования в кодирующем устройстве.
Фиг.15 представляет логическую схему, описывающую последовательность операций процесса определения режима, выполняемого на этапе S58 на фиг.14.
Фиг.16 представляет логическую схему, описывающую последовательность операций процесса прогнозирования/компенсации движения, выполняемого на этапе S61 на фиг.14.
Фиг.17 представляет блок-схему, иллюстрирующую другой пример конфигурации схемы фильтрации.
Фиг.18 представляет блок-схему, иллюстрирующую еще один пример конфигурации схемы фильтрации.
Фиг.19 представляет схему, иллюстрирующую пример случая, когда используют три опорных кадра.
Фиг.20 представляет блок-схему, иллюстрирующую пример конфигурации схемы фильтрации для случая, когда используют три опорных кадра.
Фиг.21 представляет схему, иллюстрирующую результат кодирования, выполняемого с использованием прогнозируемого изображения, генерируемого посредством схемы фильтрации, показанной на фиг.8.
Фиг.22 представляет схему, иллюстрирующую другой результат кодирования, выполняемого с использованием прогнозируемого изображения, генерируемого посредством схемы фильтрации, показанной на фиг.8.
Фиг.23 представляет блок-схему, иллюстрирующую пример конфигурации персонального компьютера.
Фиг.24 представляет блок-схему, иллюстрирующую пример конфигурации основной части телевизионного приемника, в котором применено настоящее изобретение.
Фиг.25 представляет блок-схему, иллюстрирующую пример конфигурации основной части мобильного телефона, в котором применено настоящее изобретение.
Фиг.26 представляет блок-схему, иллюстрирующую пример конфигурации основной части устройства записи на жестком магнитном диске, в котором применено настоящее изобретение.
Фиг.27 представляет блок-схему, иллюстрирующую пример конфигурации основной части видеокамеры, в которой применено настоящее изобретение.
Описание вариантов изобретения
Фиг.3 представляет блок-схему, иллюстрирующую пример конфигурации декодирующего устройства 1 согласно одному варианту настоящего изобретения.
Информация изображения, сжатая и кодированная в кодирующем устройстве, рассматриваемом ниже, поступает в декодирующее устройство 1 по кабелю, через сеть связи или на сменном носителе записи. Эта сжатая информация изображения представляет собой информацию изображения, сжатую и кодированную в соответствии, например, со стандартом Н.264.
Промежуточный буфер 11 последовательно записывает входные потоки битов в качестве сжатой информации изображения. Информацию, записанную в промежуточном буфере 11, по мере необходимости считывает схема 12 декодирования без потерь. Считывание происходит фрагментами некоторого размера, такими как макроблоки, образующие кадр. Согласно стандарту Н.264 можно также обрабатывать изображение не макроблоками размером 16×16 пикселов, а блоками меньшего размера, такими как 8×8 пикселов или 4×4 пикселов, на которые разбивают макроблоки.
Схема 12 декодирования без потерь выполняет процедуру декодирования, соответствующую алгоритму кодирования, например декодирование кодов переменной длины или арифметическое декодирование, изображения, считываемого из промежуточного буфера 11. Схема 12 декодирования без потерь передает квантованный коэффициент преобразования, полученный в результате декодирования, в схему 13 деквантования.
Кроме того, схема 12 декодирования без потерь идентифицирует на основе идентификационного флага, включенного в заголовок изображения, подлежащего декодированию, кодировано ли это изображение с применением внутрикадрового кодирования (внутрикадровым способом) или межкадрового кодирования (межкадровым способом). Если изображение, подлежащее декодированию, кодировано внутрикадровым способом, схема 12 декодирования без потерь передает в схему 22 внутрикадрового прогнозирования информацию о режиме внутрикадрового кодирования, записанную в заголовке изображения. Эта информация о режиме внутрикадрового прогнозирования включает в себя информацию, относящуюся к внутрикадровому прогнозированию, такую как размер блока, используемого в качестве единицы процесса.
Если определено, что изображение, подлежащее декодированию, содержит информацию межкадрового кодирования, схема 12 декодирования без потерь передает вектор движения и идентификационный флаг, записанные в заголовке изображения, в схему 21 прогнозирования/компенсации движения. Режим прогнозирования, в котором следует сформировать прогнозируемое изображение с применением межкадрового изображения, идентифицируют посредством идентификационного флага. Идентификационные флаги устанавливают в единицах, например, макроблоков или кадров.
В дополнение к режиму однонаправленного прогнозирования, показанному на фиг.1, и режиму двунаправленного прогнозирования, показанному на фиг.2, предложен также третий режим прогнозирования для генерации прогнозируемого изображения путем применения фильтра к изображению с компенсацией движения, выделенному из нескольких опорных кадров, расположенных в одном направлении по оси времени или в обоих направлениях.
Фиг.4 представляет схему, иллюстрирующую принципы третьего режима прогнозирования.
В примере, показанном на фиг.4, кадр, предшествующий по времени на один временной шаг текущему кадру (прогнозируемому кадру) назначен опорным кадром R0, а кадр, предшествующий на один временной шаг этому опорному кадру R0, назначен опорным кадром R1 . В этом случае, в соответствии с третьим режимом прогнозирования изображения МС0 и МС1 с компенсацией движения, выделенные из опорных кадров R0 и R1, вводят в схему фильтрации, а величины пикселов выходного изображения схемы фильтрации устанавливают в качестве величин пикселов интересующего макроблока прогнозируемого изображения.
В дальнейшем режим прогнозирования, при использовании которого величину пиксела одного изображения с компенсацией движения из группы изображений с компенсацией движения, выделенных из нескольких опорных кадров, расположенных в одном направлении, как показано на фиг.1, принимают в качестве величины пиксела прогнозируемого изображения, именуется просто режимом однонаправленного прогнозирования. Кроме того, как показано на фиг.2, режим прогнозирования, при использовании которого среднее значение величин пикселов изображений с компенсацией движения, индивидуально выделенных из нескольких опорных кадров, расположенных в обоих направлениях, принимают в качестве величины пиксела прогнозируемого изображения, именуется просто режимом двунаправленного прогнозирования.
Третий режим прогнозирования, как показано на фиг.4, при использовании которого величины пикселов прогнозируемого изображения определяют посредством применения фильтра к каждому из изображений с компенсацией движения, выделенных из нескольких опорных кадров, расположенных в одном или в обоих направлениях, именуется режимом прогнозирования с фильтрацией. Этот режим прогнозирования с фильтрацией будет подробно описан ниже.
Если вернуться к фиг.3, схема 13 деквантования осуществляет деквантование квантованного коэффициента преобразования, поступающего от схемы 12 декодирования без потерь, с применением алгоритма, соответствующего алгоритму квантования, использованному на стороне кодирования. Схема 13 деквантования выводит коэффициент преобразования, полученный путем выполнения деквантования, в схему 14 обратного ортогонального преобразования.
Схема 14 обратного ортогонального преобразования выполняет, например, обратное ортогональное преобразование четвертого порядка над коэффициентом преобразования, поступающим от схемы 13 деквантования, с применением алгоритма, соответствующего алгоритму ортогонального преобразования, использованному на кодирующей стороне, такому как дискретное косинусное преобразование или преобразование Карунена-Лоэва, и выводит полученное изображение в сумматор 15.
Сумматор 15 осуществляет суммирование изображения, поступающего от схемы 14 обратного ортогонального преобразования, и прогнозируемого изображения, поступающего от схемы 21 прогнозирования/компенсации движения или от схемы 22 внутрикадрового прогнозирования через переключатель 23, и передает составное изображение в деблокирующий фильтр 16.
Деблокирующий фильтр 16 устраняет блочные шумы, включенные в изображение, поступающее от сумматора 15, и выводит изображение, из которого удалены блочные шумы. Выходное изображение от деблокирующего фильтра 16 поступает в буфер 17 перестановок и память 19 кадров.
Буфер 17 перестановок временно сохраняет изображение, поступающее от деблокирующего фильтра 16. Этот буфер 17 перестановок генерирует индивидуальный кадр на основе изображения, например, каждого записанного макроблока и переставляет сформированные кадры в определенном порядке, например порядке представления на дисплее,, перед тем, как передать эти кадры в цифроаналоговый преобразователь (ЦАП (D/A)) 18.
ЦАП 18 выполняет цифроаналоговое преобразование каждого из кадров, поступающих от буфера 17 перестановок, и выводит сигналы кадров на выход.
Память 19 кадров временно сохраняет изображение, поступающее от деблокирующего фильтра 16. Информацию, записанную в памяти 19 кадров, передают в схему 21 прогнозирования/компенсации движения или в схему 22 внутрикадрового прогнозирования через переключатель 20.
Переключатель 20 соединяется с клеммой a1, когда прогнозируемое изображение следует генерировать посредством межкадрового прогнозирования, и соединяется с клеммой b1, когда прогнозируемое изображение следует генерировать посредством внутрикадрового прогнозирования. Работой переключателя 20 управляют, например, посредством схемы 31 управления.
Схема 21 прогнозирования/компенсации движения определяет режим прогнозирования в соответствии с идентификационным флагом, поступающим от схемы 12 декодирования без потерь, и выбирает кадр для использования в качестве опорного кадра среди уже декодированных кадров, записанных в памяти 19 кадров, в зависимости от режима прогнозирования. Схема 21 прогнозирования/компенсации движения определяет макроблок, соответствующий интересующему прогнозируемому изображению, из нескольких макроблоков, образующих опорный кадр, на основе вектора движения, поступающего от схемы 12 декодирования без потерь, и выделяет определенный таким способом макроблок в качестве изображения с компенсацией движения. Схема 21 прогнозирования/компенсации движения определяет величину пиксела прогнозируемого изображения на основе величины пиксела изображения с компенсацией движения в соответствии с используемым режимом прогнозирования и передает прогнозируемое изображение с определенными таким способом величинами пикселов в сумматор 15 через переключатель 23.
Схема 22 внутрикадрового прогнозирования выполняет такое внутрикадровое прогнозирование в соответствии с информацией режима внутрикадрового прогнозирования, поступающей от схемы 12 декодирования без потерь, и генерирует прогнозируемое изображение. Схема 22 внутрикадрового прогнозирования передает сгенерированное прогнозируемое изображение в сумматор 15 через переключатель 23.
Переключатель 23 соединяется с клеммой а2, когда прогнозируемое изображение было сформировано схемой 21 прогнозирования/компенсации движения, и соединяется с клеммой b2, если прогнозируемое изображение было создано схемой 22 внутрикадрового прогнозирования. Работой переключателя 23 управляет также, например, схема 31 управления.
Схема 31 управления осуществляет управление всей работой декодирующего устройства 1 посредством, например, переключения соединений переключателей 20 и 23. Эта схема 31 управления может идентифицировать, кодировано ли изображение, подлежащее обработке, с применением внутрикадрового или межкадрового кодирования.
Фиг.5 представляет блок-схему, иллюстрирующую пример конфигурации схемы 21 прогнозирования/компенсации движения, показанной на фиг.3.
Как показано на фиг.5, схема 21 прогнозирования/компенсации движения составлена из схемы 41 определения режима прогнозирования, схемы 42 однонаправленного прогнозирования, схемы 43 двунаправленного прогнозирования, схемы 44 прогнозирования и схемы 45 фильтрации. Вектор движения и идентификационный флаг от схемы 12 декодирования без потерь поступают на входы схемы 41 определения режима прогнозирования.
Схема 41 определения режима прогнозирования определяет режим прогнозирования в соответствии с идентификационным флагом, поступающим от схемы 12 декодирования без потерь. Эта схема 41 определения режима прогнозирования выводит вектор движения в схему 42 однонаправленного прогнозирования, когда определено, что прогнозируемое изображение следует генерировать посредством однонаправленного прогнозирования, или выводит этот вектор движения в схему 43 двунаправленного прогнозирования, когда определено, что прогнозируемое изображение следует генерировать посредством двунаправленного прогнозирования. Кроме того, если определено, что прогнозируемое изображение следует генерировать посредством прогнозирования с фильтрацией, схема 41 определения режима прогнозирования выводит вектор движения в схему 44 прогнозирования.
Таким образом, можно установить в качестве величины идентификационного флага величину, отличную от величины, представляющей однонаправленное прогнозирование, и величины, представляющей двунаправленное прогнозирование, как это определено в обычном стандарте Н.264, с целью позволить идентификацию прогнозирования с фильтрацией. Отметим, что режим прогнозирования может быть определен посредством какого-либо сформулированного заранее способа вместо того, чтобы определять этот режим по идентификационному флагу, для уменьшения объема информации.
Схема 42 однонаправленного прогнозирования устанавливает, как показано на фиг.1, несколько кадров, расположенных в одном направлении по оси времени, в качестве опорных кадров и определяет в этих опорных кадрах макроблоки, соответствующие прогнозируемому изображению, на основе векторов движения. Кроме того, схема 42 однонаправленного прогнозирования генерирует прогнозируемое изображение путем считывания каждого из определенных ею макроблоков в опорных кадрах из памяти 19 в качестве изображения с компенсацией движения и путем установления величин пикселов одного из этих изображений с компенсацией движения в качестве величин пикселов прогнозируемого изображения. Схема 42 однонаправленного прогнозирования передает это прогнозируемое изображение сумматору 15. В качестве алгоритма однонаправленного прогнозирования, применяемого схемой 42 однонаправленного прогнозирования, можно использовать, например, алгоритм однонаправленного прогнозирования, определенный в стандарте Н.264.
Схема 43 двунаправленного прогнозирования устанавливает, как показано на фиг.2, несколько кадров, расположенных в обоих направлении по оси времени, в качестве опорных кадров и определяет в этих опорных кадрах макроблоки, соответствующие прогнозируемому изображению, на основе векторов движения. Кроме того, схема 43 двунаправленного прогнозирования генерирует прогнозируемое изображение путем считывания каждого из определенных ею макроблоков в опорных кадрах из памяти 19 в качестве изображения с компенсацией движения и путем установления средних значений величин пикселов этих считываемых изображений с компенсацией движения в качестве величин пикселов прогнозируемого изображения. Схема 43 двунаправленного прогнозирования передает это прогнозируемое изображение сумматору 15. В качестве алгоритма двунаправленного прогнозирования, применяемого схемой 43 двунаправленного прогнозирования, можно использовать, например, алгоритм двунаправленного прогнозирования, определенный в стандарте Н.264.
Схема 44 прогнозирования определяет несколько кадров, расположенных в одном направлении или в обоих направлениях по оси времени, в качестве опорных кадров. Какие именно кадры следует использовать в качестве опорных кадров, можно определить заранее или можно выбрать на основе информации, передаваемой кодирующей стороной вместе с идентификационным флагом.
Фиг.6 представляет схему, иллюстрирующую пример опорных кадров.
В примере, показанном на фиг.6, аналогично описанию, данному со ссылками на фиг.4, два кадра, находящиеся на оси времени на один шаг и еще на один шаг, соответственно, раньше прогнозируемого кадра, заданы в качестве опорных кадров. Из этих кадров тот, который расположен по оси времени ближе к прогнозируемому кадру, т.е. предшествует ему на один шаг по времени, обозначен как опорный кадр R0, а кадр, предшествующий на один шаг по времени опорному кадру R0, обозначен как опорный кадр R 1.
Фиг.7 представляет схему, иллюстрирующую другой пример опорных кадров.
В примере, показанном на фиг.7, в качестве опорных кадров выбраны два кадра, один из которых расположен на один шаг по времени прежде, а другой - на один шаг по времени после прогнозируемого кадра. Из этих двух опорных кадров тот, который предшествует прогнозируемому кадру на один временной шаг, обозначен как опорный кадр L0 , а тот, который находится на один временной шаг после прогнозируемого кадра, обозначен как опорный кадр L1.
Таким образом, в процессе прогнозирования с фильтрацией в качестве опорных кадров используют несколько кадров, расположенных в одном направлении по оси времени, или несколько кадров, расположенных в обоих направлениях по оси времени.
Кроме того, схема 44 прогнозирования находит макроблоки, соответствующие прогнозируемому изображению, среди уже декодированных макроблоков в опорных кадрах, определенных, как показано на фиг.6 или 7, на основе векторов движения, поступающих от схемы 41 определения режима прогнозирования.
Схема 44 прогнозирования считывает каждый из выбранных макроблоков опорных кадров из памяти 19 кадров в качестве изображения с компенсацией движения и передает эти считываемые изображения с компенсацией движения в схему 45 фильтрации. Векторы движения могут быть определены вместо единиц макроблоков, таких как 16×16 пикселов, в единицах блоков, полученных в результате дальнейшего разбиения макроблоков. Изображение, например, каждого макроблока передают на вход схемы 45 фильтрации. На фиг.5 две стрелки, направленные от схемы 44 прогнозирования в схему 45 фильтрации, обозначают, что происходит передача двух изображений с компенсацией движения.
Схема 45 фильтрации получает изображения с компенсацией движения от схемы 44 прогнозирования в качестве входных сигналов, фильтрует эти изображения и передает прогнозируемое изображение, полученное в результате фильтрации, в сумматор 15.
Фиг.8 представляет блок-схему, иллюстрирующую пример конфигурации схемы 45 фильтрации, показанной на фиг.5. В схеме 45 фильтрации, показанной на фиг.8, сигнал фильтруют во временной области.
Как показано на фиг.8, схема 45 фильтрации состоит из схемы 51 вычисления разности, фильтра 52 нижних частот, схемы 53 регулировки коэффициента передачи, фильтра 54 верхних частот, схемы 55 регулировки коэффициента передачи, сумматора 56 и сумматора 57. Изображение МС0 с компенсацией движения, приходящее от схемы 44 прогнозирования, поступает на входы схемы 51 вычисления разности и сумматора 57, а изображение MC1 с компенсацией движения поступает на вход схемы 51 вычисления разности.
Если, как показано на фиг.6, прогнозируемое изображение генерируют, например, посредством однонаправленного прогнозирования, изображение, выделенное из опорного кадра R0, считающегося обладающим более высокой корреляцией с прогнозируемым изображением, обозначают как изображение МС0 с компенсацией движения, а изображение, выделенное из опорного кадра R1, обозначают как изображение MC1 с компенсацией движения. Изображение, выделенное из опорного кадра R0, может быть обозначено как изображение MC1 с компенсацией движения, а изображение, выделенное из опорного кадра R1, может быть обозначено как изображение МС0 с компенсацией движения.
В отличие от этого, если, как показано на фиг.7, прогнозируемое изображение генерируют посредством двунаправленного прогнозирования, изображение, выделенное из предшествующего на один временной шаг опорного кадра L0, обозначают как изображение MC0 с компенсацией движения, а изображение, выделенное из опорного кадра L1 в следующем временном шаге после прогнозируемого изображения, обозначают как изображение MC1 с компенсацией движения. Изображение, выделенное из опорного кадра L0 , может быть обозначено как изображение MC1 с компенсацией движения, а изображение, выделенное из опорного кадра L1 , может быть обозначено как изображение MC0 с компенсацией движения.
Схема 51 вычисления разности вычисляет разность между изображением MC0 с компенсацией движения и изображением MC1 с компенсацией движения и передает разностное изображение в фильтр 52 нижних частот. Разностное изображение D представлено уравнением (3) следующим образом.
В уравнении (3) индексы (i, j) представляют относительное положение пиксела в изображении с компенсацией движения и удовлетворяют соотношениям 0 i 16 и 0 j 16, если обработка осуществляется в единицах макроблоков размером 16×16 пикселов. Предполагается, что то же самое применимо к последующему.
Фильтр 52 нижних частот содержит КИХ-фильтр. Этот фильтр 52 нижних частот применяет фильтрацию нижних частот к разностному изображению D, поступающему от схемы 51 вычисления разности, и передает полученное изображение в схему 53 регулировки коэффициента передачи и в фильтр 54 верхних частот. Разностное изображение D', получаемое в результате применения фильтра нижних частот, представлено уравнением (4) ниже. В этом уравнении (4), LPF(X) представляет применение фильтра нижних частот к входному изображению X с использованием двумерного КИХ-фильтра.
Схема 53 регулировки коэффициента передачи подстраивает коэффициент передачи разностного изображения D', поступающего от фильтра 52 нижних частот, и выводит изображение с подстроенным коэффициентом передачи в сумматор 56. Выходное изображение X (i, j) схемы 53 регулировки коэффициента передачи представлено уравнением (5) ниже.
Фильтр 54 верхних частот содержит КИХ-фильтр. Этот фильтр 54 верхних частот применяет фильтрацию верхних частот к разностному изображению D', поступающему от фильтра 52 нижних частот, и передает полученное изображение в схему 55 регулировки коэффициента передачи. Разностное изображение D'', получаемое в результате применения фильтра верхних частот, представлено уравнением (6) ниже. В этом уравнении (6), HPF(X) представляет применение фильтра верхних частот к входному изображению X с использованием двумерного КИХ-фильтра.
Схема 55 регулировки коэффициента передачи подстраивает коэффициент передачи разностного изображения D'', поступающего от фильтра 54 верхних частот, и выводит изображение с подстроенным коэффициентом передачи в сумматор 56. Выходное изображение Y (i, j) схемы 55 регулировки коэффициента передачи представлено уравнением (7) следующим образом.
В качестве величин коэффициентов в уравнении (5) и
в уравнении (7) можно выбрать, например,
=0,8 и
=0,2. Однако можно выбрать и другие значения для повышения точности прогнозируемого пиксела. Более того, эти величины можно адаптивно изменять в зависимости от свойств входной последовательности или других подобных факторов.
Сумматор 56 суммирует изображение X (i, j) и изображение Y (i, j) с подстроенными коэффициентами передачи и передает на выход изображение, полученное в результате суммирования. Выходное изображение Z (i, j) сумматора 56 представлено уравнением (8) следующим образом.
Выходное изображение Z (i, j) представляет высокочастотные составляющие изображения, которые могут быть определены на основе разности, т.е. корреляцию между изображением MC0 с компенсацией движения и изображением MC 1 с компенсацией движения.
Сумматор 57 выполняет суммирование выходного изображения Z (i, j), поступающего от сумматора 56, с изображением MC0 с компенсацией движением и выводит полученное изображение в сумматор 15 в качестве прогнозируемого изображения. Окончательное выходное изображение сумматора 57, т.е. прогнозируемое изображение S (i, j), представлено уравнением (9) ниже.
Таким образом, в режиме прогнозирования с фильтрацией генерируют изображение, полученное путем суммирования изображения, представляющего высокочастотные составляющие, с изображением MC0 с компенсацией движения, в качестве прогнозируемого изображения. Это прогнозируемое изображение содержит больше высокочастотных составляющих, чем прогнозируемое изображение, получаемое в случае простого двунаправленного прогнозирования. Как описано выше, поскольку в качестве величин пикселов прогнозируемого изображения принимают среднее значение величин пикселов нескольких изображений с компенсацией движения, в прогнозируемом изображении, генерируемом с применением двунаправленного прогнозирования, могут быть утрачены высокочастотные составляющие.
Более того, поскольку в сумматоре 15 с декодированным изображением суммируют прогнозируемое изображение, включающее большое число высокочастотных составляющих, окончательное выходное изображение декодирующего устройства 1 также представляет собой изображение высокой четкости, включающее большое число высокочастотных составляющих.
Кроме того, можно генерировать прогнозируемое изображение путем более эффективного использования корреляции изображений во времени, чем это имеет место в случае простого однонаправленного прогнозирования. Как описано выше, вследствие использования величин пикселов только одного изображения с компенсацией движения из нескольких таких изображений с компенсацией прогнозируемое изображение генерируемое посредством однонаправленного прогнозирования, нельзя назвать использующим в достаточной степени корреляцию изображений во времени.
Далее будет описан принцип действия декодирующего устройства 1, имеющего описанную выше конфигурацию.
Сначала процесс декодирования в декодирующем устройстве 1 будет рассмотрен со ссылками на логическую схему последовательности операций, показанную на фиг.9.
Процесс, показанный на фиг.9, начинается, когда, например, схема 12 декодирования без потерь считывает изображение определенного размера, такое как макроблок размером 16×16 пикселов из информации, записанной в промежуточном буфере 11. На каждом этапе, изображенном на фиг.9, обработка данных может производиться, при необходимости, параллельно обработке другого этапа, либо можно изменить последовательность выполнения этапов. То же самое применимо к обработке данных на каждом этапе в каждой логической схеме, рассмотренной ниже.
На этапе S1 схема 12 декодирования без потерь декодирует изображение, считываемое из промежуточного буфера 11, и передает квантованный коэффициент преобразования в схему 13 деквантования. Кроме того, схема 12 декодирования без потерь передает информацию о режиме внутрикадрового прогнозирования в схему 22 внутрикадрового прогнозирования, если изображение, подлежащее декодированию, кодировано внутрикадровым способом, и передает вектор движения и идентификационный флаг в схему 21 прогнозирования/компенсации движения, если это изображение кодировано межкадровым способом.
На этапе S2 схема 13 деквантования осуществляет деквантование с использованием алгоритма, соответствующего способу квантования, примененному на кодирующей стороне, и выводит коэффициент преобразования в схему 14 обратного ортогонального преобразования.
На этапе S3 схема 14 обратного ортогонального преобразования выполняет такое обратное ортогональное преобразование для коэффициента преобразования, поступившего от схемы 13 деквантования, и передает полученное изображение в сумматор 15.
На этапе S4 сумматор 15 осуществляет суммирование декодированного изображения, поступающего от схемы 14 обратного ортогонального преобразования, и прогнозируемого изображения, поступающего от схемы 21 прогнозирования/компенсации движения или от схемы 22 внутрикадрового прогнозирования, и передает суммарное изображение в деблокирующий фильтр 16.
На этапе S5 деблокирующий фильтр 16 выполняет фильтрацию для устранения блочных шумов, включенных в суммарное изображение, и передает на выход изображение, в котором устранены эти блочные шумы.
На этапе S6 память 19 кадров временно записывает изображение, поступившее от деблокирующего фильтра 16.
На этапе S7 схема 31 управления определяет, кодировано ли рассматриваемое изображение внутрикадровым способом.
Если на этапе S7 определено, что изображение кодировано внутрикадровым способом, тогда на этапе S8 схема 22 внутрикадрового прогнозирования генерирует прогнозируемое изображение посредством внутрикадрового прогнозирования и передает сгенерированное таким способом прогнозируемое изображение в сумматор 15.
Напротив, если на этапе S7 определено, что изображение не кодировано внутрикадровым способом, т.е. изображение кодировано межкадровым способом, тогда на этапе S9 схема 21 прогнозирования/компенсации движения выполняет процедуру прогнозирования/компенсации движения. Прогнозируемое изображение, сгенерированное посредством процедуры прогнозирования/компенсации движения, передают в сумматор 15. Ниже процедура прогнозирования/компенсации движения будет описана со ссылками на логическую схему, показанную на фиг.10.
На этапе S10 схема 31 управления определяет, была ли описанная выше процедура выполнена на макроблоках в одном полном кадре. Если было определено, что процедура не была выполнена, снова повторяют процесс от этапа S1 для другого макроблока.
Напротив, если на этапе S10 будет определено, что процедура была выполнена на макроблоках одного полного кадра, тогда на этапе S11 буфер 17 перестановок выводит сформированный кадр в цифроаналоговый преобразователь 18 по команде схемы 31 управления.
На этапе S12 ЦАП 18 выполняет цифроаналоговое преобразование кадра, поступившего из буфера 17 перестановок, и выводит аналоговый сигнал. Описанную выше процедуру выполняют для индивидуальных кадров.
Далее процедура прогнозирования/компенсации движения, выполняемая на этапе S9, показанном на фиг.9, будет описана со ссылками на логическую схему, представленную на фиг.10.
На этапе S21 схема 41 определения режима прогнозирования из состава схемы 21 прогнозирования/компенсации движения определяет, указывает ли идентификационный флаг, поступивший от схемы 12 декодирования без потерь, что обработку следует производить в режиме прогнозирования с фильтрацией.
Если на этапе S21 определено, что идентификационный флаг не указывает, что обработку следует производить в режиме прогнозирования с фильтрацией, тогда на этапе S22 выполняют однонаправленное или двунаправленное прогнозирование и генерируют прогнозируемое изображение.
Таким образом, если идентификационный флаг указывает, что обработку данных следует производить в режиме однонаправленного прогнозирования, вектор движения передают из схемы 41 определения режима прогнозирования в схему 42 однонаправленного прогнозирования, а схема 42 однонаправленного прогнозирования осуществляет однонаправленное прогнозирование. Кроме того, если идентификационный флаг указывает, что обработку данных следует производить в режиме двунаправленного прогнозирования, вектор движения передают из схемы 41 определения режима прогнозирования в схему 43 двунаправленного прогнозирования, а схема 43 двунаправленного прогнозирования осуществляет двунаправленное прогнозирование. После вывода прогнозируемого изображения в сумматор 15 процесс возвращается к этапу S9, показанному на фиг.9, и выполняется дальнейшая обработка данных.
Напротив, если на этапе S21 определено, что идентификационный флаг указывает, что обработку данных следует производить в режиме прогнозирования с фильтрацией, тогда на этапе S23 схема 44 прогнозирования выделяет изображение с компенсацией движения из каждого из нескольких опорных кадров и выводит эти изображения с компенсацией движения в схему 45 фильтрации. Вектор движения поступает от схемы 41 определения режима прогнозирования в схему 44 прогнозирования, где выделение изображения с компенсацией движения происходит с использованием этого вектора.
На этапе S24 схема 51 вычисления разности в схеме 45 фильтрации вычисляет разность между изображением MC0 с компенсацией движения и изображением MC1 с компенсацией движения и выводит разностное изображение в фильтр 52 нижних частот.
На этапе S25 фильтр 52 нижних частот применяет фильтрацию нижних частот к разностному изображению, поступившему от схемы 51 вычисления разности, и выводит полученное изображение в схему 53 регулировки коэффициента передачи и в фильтр 54 верхних частот.
На этапе S26 схема 53 регулировки коэффициента передачи подстраивает коэффициент передачи изображения, поступающего от фильтра 52 нижних частот, и выводит изображение с подстроенным коэффициентом передачи в сумматор 56.
На этапе S27 фильтр 54 верхних частот применяет фильтрацию верхних частот к разностному изображению, поступающему от фильтра 52 нижних частот, и выводит полученное изображение в схему 55 регулировки коэффициента передачи.
На этапе S28 схема 55 регулировки коэффициента передачи подстраивает коэффициент передачи изображения, поступающего от фильтра 54 верхних частот, и выводит изображение с подстроенным коэффициентом передачи в сумматор 56.
На этапе S29 сумматор 56 осуществляет суммирование изображения, поступающего от схемы 53 регулировки коэффициента передачи, и изображения, поступающего от схемы 55 регулировки коэффициента передачи, и определяет высокочастотные составляющие изображений. Найденные высокочастотные составляющие выводят из сумматора 56 в сумматор 57.
На этапе S30 сумматор 57 осуществляет суммирование изображения (высокочастотных составляющих), поступающего от сумматора 56 с изображением MC0 с компенсацией движения и выводит полученное изображение в сумматор 15 в качестве прогнозируемого изображения. После этого процесс возвращается к этапу S9, показанному на фиг.9, и выполняется последующая обработка.
Как и выше, декодирование осуществляется с использованием прогнозируемого изображения, генерируемого посредством прогнозирования с фильтрацией, что делает возможным получение декодированного изображения высокой четкости.
Далее будут рассмотрены конфигурация и работа аппаратуры на кодирующей стороне.
Фиг.11 представляет блок-схему, иллюстрирующую пример конфигурации кодирующего устройства 101. Информация сжатого изображения, получаемая в результате кодирования изображения в кодирующем устройстве 101, поступает на вход декодирующего устройства 1, показанного на фиг.3.
Аналого-цифровой преобразователь 111 (АЦП) выполняет аналого-цифровое преобразование входного сигнала и выводит изображение в буфер 112 перестановок.
Буфер 112 перестановок осуществляет перестановку кадров в соответствии с GOP (группой кадров) информации сжатого изображения и выводит изображение некоторой единицы, такой как макроблок. Выходное изображение из буфера 112 перестановок поступает в сумматор 113, схему 123 определения режима, схему 125 прогнозирования/компенсации движения и схему 126 внутрикадрового прогнозирования.
Сумматор 113 определяет разность между изображением, поступающим от буфера 112 перестановок, и прогнозируемым изображением, генерируемым схемой 125 прогнозирования/компенсации движения или схемой 126 внутрикадрового прогнозирования и поступающим через переключатель 127, и выводит остаточную погрешность в схему 114 ортогонального преобразования. Чем ближе прогнозируемое изображение к изображению оригинала и чем меньше найденная остаточная погрешность, тем меньше объем кода, который следует назначить остаточной погрешности, и потому тем выше может быть эффективность кодирования.
Схема 114 ортогонального преобразования осуществляет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва, остаточной погрешности, поступающей от сумматора 113, и передает коэффициент преобразования, полученный в результате такого ортогонального преобразования, в схему 115 квантования.
Схема 115 квантования выполняет квантование коэффициента преобразования, поступающего от схемы 114 ортогонального преобразования, в соответствии с командами схемы 118 управления частотой дискретизации и передает квантованный коэффициент преобразования на выход. Коэффициент преобразования, квантованный в схеме 115 квантования, поступает в схему 116 кодирования без потерь и в схему 119 деквантования.
Схема 116 кодирования без потерь сжимает коэффициент преобразования, поступивший от схемы 115 квантования, путем выполнения кодирования без потерь, такого как кодирование в коде переменной длины или арифметическое кодирование, и передает информацию в промежуточный буфер 117.
Кроме того, схема 116 кодирования без потерь устанавливает значение идентификационного флага в соответствии с информацией, поступающей от схемы 123 определения режима, и вставляет этот идентификационный флаг в заголовок изображения. Как описано выше, декодирующее устройство 1 определяет режим прогнозирования на основе идентификационного флага, описанного схемой 116 кодирования без потерь.
Схема 116 кодирования без потерь описывает также информацию, поступающую от схемы 125 прогнозирования/компенсации движения или от схемы 126 внутрикадрового прогнозирования, в заголовке изображения. Векторы движения и другая подобная информация, определяемые при выполнении межкадрового прогнозирования, поступают от схемы 125 прогнозирования/компенсации движения, а информация, относящаяся к применению внутрикадрового прогнозирования, поступает от схемы 126 внутрикадрового прогнозирования.
Промежуточный буфер 117 временно сохраняет информацию, поступающую от схемы 116 кодирования без потерь, и передает эту информацию в виде информации сжатого изображения в определенные моменты времени. Промежуточный буфер 117 передает информацию об объеме сгенерированного кода в схему 118 управления частотой дискретизации.
Схема 118 управления частотой дискретизации вычисляет масштаб квантования на основе объема кода с выхода промежуточного буфера 117 и управляет схемой 115 квантования таким образом, чтобы квантование выполнялось в соответствии с вычисленным масштабом.
Схема 119 деквантования осуществляет деквантование коэффициента преобразования, квантованного схемой 115, и выводит коэффициент преобразования в схему 120 обратного ортогонального преобразования.
Схема 120 обратного ортогонального преобразования осуществляет такое обратное ортогональное преобразование для коэффициента преобразования, приходящего от схемы 119 деквантования, и передает полученное изображение в деблокирующий фильтр 121.
Деблокирующий фильтр 121 устраняет блочные шумы, появляющиеся в локально декодированном изображении, и выводит изображение, из которого были устранены эти блочные шумы в память 122 кадров.
Память 122 кадров записывает изображение, поступающее от деблокирующего фильтра 121. Это изображение, записанное в памяти 122 кадров, считывает по мере необходимости схема 123 определения режима.
Схема 123 определения режима определяет, следует ли выполнять внутрикадровое кодирование или межкадровое кодирование, на основе изображения, записанного в памяти 122 кадров, и оригинального изображения, поступающего из буфера 112 перестановок. Кроме того, если определено, что следует выполнять межкадровое кодирование, схема 123 определения режима выбирает один из режимов - режим однонаправленного прогнозирования, режим двунаправленного прогнозирования или режим прогнозирования с фильтрацией. Схема 123 определения режима передает информацию, указывающую результаты определения, в схему 116 кодирования без потерь в качестве информации о режиме.
Если определено, что следует выполнять межкадровое кодирование, схема 123 определения режима выводит кадр, записанный в памяти 122 кадров, и кадр, полученный в результате локального декодирования, в схему 125 прогнозирования/компенсации движения через переключатель 124.
Кроме того, если определено, что следует выполнять внутрикадровое кодирование, схема 123 определения режима выводит кадр, записанный в памяти 122 кадров, и кадр, полученный в результате локального декодирования, в схему 126 внутрикадрового прогнозирования 126.
Переключатель 124 соединяется с клеммой a11, когда следует выполнять межкадровое кодирование, и соединяется с клеммой b11, когда следует выполнять внутрикадровое кодирование. Работой переключателя 124 управляет, например, схема 131 управления.
Схема 125 прогнозирования/компенсации движения определяет векторы движения на основе оригинального изображения, поступающего от буфера 112 перестановок, и опорных кадров, считываемых из памяти 122 кадров, и передает найденные векторы движения в схему 116 кодирования без потерь. Кроме того, схема 125 прогнозирования/компенсации движения генерирует прогнозируемое изображение путем выполнения компенсации движения с использованием найденных векторов движения и опорных кадров и передает сгенерированное прогнозируемое изображения в сумматор 113 через переключатель 127.
Схема 126 внутрикадрового прогнозирования осуществляет такое внутрикадровое прогнозирование на основе оригинального изображения, поступающего от буфера 112 перестановок, и опорных кадров, локально декодированных и записанных в памяти 122 кадров, и генерирует прогнозируемое изображение. Схема 126 внутрикадрового прогнозирования передает сгенерированное прогнозируемое изображение в сумматор 113 через переключатель 127 и передает информацию режима внутрикадрового прогнозирования в схему 116 кодирования без потерь.
Переключатель 127 соединяется с клеммой a12 или с клеммой b12 и передает прогнозируемое изображение, генерируемое схемой 125 прогнозирования/компенсации движений или схемой 126 внутрикадрового прогнозирования, в сумматор 113.
Схема 131 управления осуществляет управление всей работой кодирующего устройства 101 посредством, например, переключения соединений переключателей 124 и 127 в соответствии с режимом, найденным схемой 123 определения режима.
Фиг.12 представляет блок-схему, иллюстрирующую пример конфигурации схемы 123 определения режима, показанной на фиг.11.
Как показано на фиг.12, схема 123 определения режима составлена из схемы 141 внутрикадрового прогнозирования, схемы 142 межкадрового прогнозирования, схемы 143 вычисления погрешности прогнозирования и схемы 144 определения. В схеме 123 определения режима внутрикадровое прогнозирование и межкадровое прогнозирование осуществляют блоками, каждый из которых имеет различный размер, а в каком именно режиме следует производить прогнозирование, определяют на основе полученного результата. В случае межкадрового прогнозирования обработку выполняют в каждом из режимов прогнозирования, т.е. в режиме однонаправленного прогнозирования, режиме двунаправленного прогнозирования и в режиме прогнозирования с фильтрацией. Оригинальное изображение, поступающее от буфера 112 перестановок, вводят в схему 141 внутрикадрового прогнозирования, схему 142 межкадрового прогнозирования и схему 143 вычисления погрешности прогнозирования.
Схема 141 внутрикадрового прогнозирования осуществляет внутрикадровое прогнозирование блоками разного размера на основе оригинального изображения и изображения, считываемого из памяти 122 кадров, и выводит сгенерированное прогнозируемое изображение в схему 143 вычисления погрешности прогнозирования. Подсхема 151-1 прогнозирования в формате 4×4 осуществляет внутрикадровое прогнозирование блоками размером 4×4 пикселов, а подсхема 151-2 прогнозирования в формате 8×8 осуществляет внутрикадровое прогнозирование блоками размером 8×8 пикселов. Подхема 151-3 прогнозирования в формате 16×16 осуществляет внутрикадровое прогнозирование блоками размером 16×16 пикселов.
Схема 161 прогнозирования в составе схемы 142 внутрикадрового прогнозирования определяет векторы движения блоками различного размера на основе оригинального изображения и опорных кадров, считываемых из памяти 122 кадров. Кроме того, схема 161 прогнозирования выполняет компенсацию движения на основе найденных векторов движения и передает изображения с компенсацией движения, используемые для генерации прогнозируемого изображения.
В подсхеме 161-1 прогнозирования в формате 16×16 осуществляется обработка изображения каждого блока размером 16×16 пикселов, а в подсхеме 161-2 прогнозирования в формате 16×8 осуществляется обработка изображения каждого блока размером 16×8 пикселов. Кроме того, в подсхеме 161-(n-1) прогнозирования в формате 4×4 осуществляется обработка изображения каждого блока размером 4×4 пикселов. В подсхеме 161-n прогнозирования с пропусками/прямого прогнозирования векторы движения определяют в режиме прогнозирования с пропусками или в режиме прямого прогнозирования, после чего выполняют компенсацию движения с использованием найденных векторов движения.
Изображения с компенсацией движения, выделенные из нескольких опорных кадров, расположенных в одном направлении относительно текущего кадра, поступают от соответствующих подсхем схемы 161 прогнозирования в схему 162 однонаправленного прогнозирования. Изображения с компенсацией движения, выделенные из нескольких опорных кадров, расположенных в обоих направлениях относительно текущего кадра, поступают от соответствующих подсхем схемы 161 прогнозирования в схему 163 двунаправленного прогнозирования.
Если нужно произвести прогнозирование с фильтрацией с использованием, как описано выше, изображений с компенсацией движения, выделенных из нескольких опорных кадров, расположенных в одном направлении, эти изображения с компенсацией движения, выделенные из нескольких опорных кадров, расположенных в одном направлении, направляют из соответствующих подсхем схемы прогнозирования 161 в схему 164 фильтрации. Если нужно произвести прогнозирование с фильтрацией с использованием, как описано выше, изображений с компенсацией движения, выделенных из нескольких опорных кадров, расположенных в обоих направлениях, эти изображения с компенсацией движения, выделенные из нескольких опорных кадров, расположенных в обоих направлениях, направляют из соответствующих подсхем схемы прогнозирования 161 в схему 164 фильтрации.
Схема 162 однонаправленного прогнозирования генерирует прогнозируемое изображение посредством осуществления однонаправленного прогнозирования с использованием каждого из изображений с компенсацией движения, имеющих различные размеры и поступающих от соответствующих подсхем схемы 161 прогнозирования, и выводит сгенерированное прогнозируемое изображение в схему 143 вычисления погрешности прогнозирования. Например, схема 162 однонаправленного прогнозирования генерирует прогнозируемое изображение с использованием величин пикселов одного изображения из совокупности нескольких изображений с компенсацией движения размером 16×16 пикселов, поступающих от подсхемы 161-1 прогнозирования, в качестве величин пикселов прогнозируемого изображения.
Схема 163 двунаправленного прогнозирования генерирует прогнозируемое изображение путем выполнения двунаправленного прогнозирования с использованием каждого из изображений с компенсацией движения различного размера, поступающих от соответствующих подсхем схемы 161 прогнозирования, и выводит сгенерированное прогнозируемое изображение в схему 143 вычисления погрешности прогнозирования. Например, схема 163 двунаправленного прогнозирования генерирует прогнозируемое изображение с использованием средних значений величин пикселов нескольких изображений с компенсацией движения размером 16×16 пикселов, поступающих от подсхемы 161-1 прогнозирования, в качестве величин пикселов прогнозируемого изображения.
Схема 164 фильтрации генерирует прогнозируемое изображение путем выполнения прогнозируемой фильтрации с использованием каждого из изображений с компенсацией движения различного размера, поступающих от соответствующих подсхем схемы 161 прогнозирования, и выводит сгенерированное прогнозируемое изображение в схему 143 вычисления погрешности прогнозирования. Схема 164 фильтрации имеет такую же конфигурацию, как показано на фиг.8, для соответствия схеме 45 фильтрации в декодирующем устройстве 1.
Например, при генерации прогнозируемого изображения для изображений MC 0 и MC1 по 16×16 пикселов каждое, поступающих от подсхемы, 161-1 прогнозирования, схема 164 фильтрации определяет разность между этими изображениями MC0 и MC1 с компенсацией движения и применяет фильтр нижних частот к найденному разностному изображению. Затем схема 164 фильтрации применяет фильтр верхних частот к выходному сигналу фильтра нижних частот и суммирует изображение с выхода фильтра верхних частот с подстроенным коэффициентом передачи и изображение с выхода фильтра нижних частот с подстроенным коэффициентом передачи. Схема 164 фильтрации генерирует прогнозируемое изображение посредством суммирования изображения, полученного в результате указанного выше суммирования и представляющего высокочастотные составляющие, с изображением MC0 с компенсацией движения и передает сгенерированное прогнозируемое изображение в схему 143 вычисления погрешности прогнозирования.
Схема 143 вычисления погрешности прогнозирования определяет разность между каждым из прогнозируемых изображений, поступающих от соответствующих схем в составе схемы 141 внутрикадрового прогнозирования, и оригинальным изображением и передает сигнал остаточной погрешности, представляющий найденную разность, в схему 144 определения. Кроме того, схема 143 вычисления погрешности прогнозирования определяет разность между каждым из прогнозируемых изображений, поступающих от схемы 162 однонаправленного прогнозирования, схемы 163 двунаправленного прогнозирования и схемы 164 фильтрации в схему 142 межкадрового прогнозирования, и оригинальным изображением и выводит сигнал остаточной погрешности, представляющий найденную разность, в схему 144 определения.
Схема 144 определения измеряет интенсивность сигнала остаточной погрешности, приходящего от схемы 143 вычисления погрешности прогнозирования, и выбирает в качестве способа прогнозирования для генерации прогнозируемого изображения с целью применения при кодировании, способ прогнозирования, использованный для генерации прогнозируемого изображения, характеризуемого небольшой разностью относительно оригинального изображения. Схема 144 определения передает информацию, представляющую результаты выбора, в схему 116 кодирования без потерь в качестве информации о режиме. Эта информация о режиме включает также информацию, представляющую размер блока, используемого в качестве единицы обработки, и другие подобные данные.
Кроме того, когда определено, что прогнозируемое изображение следует генерировать способом межкадрового прогнозирования (если определено, что следует применять межкадровое кодирование), схема 144 определения выводит опорные кадры, считываемые из памяти 122 кадров, вместе с информацией о режиме в схему 125 прогнозирования/компенсации движения. Если определено, что прогнозируемое изображение следует генерировать способом внутрикадрового прогнозирования (если определено, что следует применять внутрикадровое кодирование), схема 144 определения выводит используемые для внутрикадрового прогнозирования изображения, считываемые из памяти 122 кадров, в схему 126 внутрикадрового прогнозирования вместе с информацией о режиме.
Фиг.13 представляет блок-схему, иллюстрирующую пример конфигурации схемы 125 прогнозирования/компенсации движения, показанной на фиг.11.
Как показано на фиг.13, схема 125 прогнозирования/компенсации движения составлена из схемы 181 определения векторов движения, схемы 182 однонаправленного прогнозирования, схемы 183 двунаправленного прогнозирования, схемы 184 прогнозирования и схемы 185 фильтрации. Схема 125 прогнозирования/компенсации движения имеет конфигурацию, аналогичную схеме 21 прогнозирования/компенсации движения, показанной на фиг.5, за исключением того, что вместо схемы 41 определения режима прогнозирования присутствует схема 181 определения векторов движения.
Схема 181 определения векторов движения выполняет такое определение вектора движения посредством сравнения блоков или подобных объектов на основе оригинального изображения, поступающего от буфера 112 перестановок, и опорного кадра, поступающего от схемы 123 определения режима. Схема 181 определения векторов движения обращается к информации о режиме, поступающей от схемы 123 определения режима, и выводит вектор движения вместе с опорным кадром в одну из схем - схему 182 однонаправленного прогнозирования, схему 183 двунаправленного прогнозирования или схему 184 прогнозирования с фильтрацией.
Схема 181 определения векторов движения выводит вектор движения вместе с опорным кадром в схему 182 однонаправленного прогнозирования, если был выбран способ однонаправленного прогнозирования, и выводит эти фрагменты информации в схему 183 двунаправленного прогнозирования, если был выбран способ двунаправленного прогнозирования. Если был выбран способ прогнозирования с фильтрацией, схема 181 определения векторов движения передает найденный вектор движения вместе с опорным кадром в схему 184 прогнозирования с фильтрацией.
Схема 182 однонаправленного прогнозирования генерирует прогнозируемое изображение аналогично показанной на фиг.5 схеме 42 однонаправленного прогнозирования, выполняя однонаправленное прогнозирование. Эта схема 182 однонаправленного прогнозирования выводит сгенерированное ею прогнозируемое изображение на сумматор 113.
Схема 183 двунаправленного прогнозирования генерирует прогнозируемое изображение аналогично показанной на фиг.5 схеме 43 двунаправленного прогнозирования, выполняя двунаправленное прогнозирование. Эта схема 183 двунаправленного прогнозирования выводит сгенерированное ею прогнозируемое изображение сумматору 113.
Аналогично схеме 44 прогнозирования, показанной на фиг.5, схема 184 прогнозирования выделяет изображение с компенсацией движения из каждого из множества опорных кадров, например двух опорных кадров, и выводит эти несколько выделенных изображений с компенсацией движения в схему 185 фильтрации.
Аналогично схеме 45 фильтрации, показанной на фиг.5, схема 185 фильтрации генерирует прогнозируемое изображение посредством прогнозирования с фильтрацией. Эта схема 185 фильтрации выводит сгенерированное прогнозируемое изображение на сумматор 113. Отметим, что схема 185 фильтрации имеет конфигурацию, аналогичную конфигурации схемы 45 фильтрации, показанной на фиг.8. В дальнейшем конфигурация схемы 185 фильтрации будет описана со ссылками по мере необходимости на конфигурацию схемы 45 фильтрации, показанную на фиг.8.
Прогнозируемое изображение, сгенерированное посредством прогнозирования с фильтрацией, может включать в себя больше высокочастотных составляющих, чем прогнозируемое изображение, генерируемое посредством однонаправленного прогнозирования или двунаправленного прогнозирования, и иметь небольшую разность относительно оригинального изображения. Поэтому требуется лишь небольшой объем кода для назначения остаточной погрешности, что позволяет тем самым повысить эффективность кодирования.
Более того, поскольку такое прогнозирование с фильтрацией может быть выполнено с использованием по меньшей мере двух опорных кадров, подобное повышение эффективности кодирования оказывается возможным без увеличения сложности обработки данных. Остаточную погрешность относительно оригинального изображения можно уменьшить и эффективность кодирования можно повысить посредством, например, увеличения числа опорных кадров, применяемых для межкадрового прогнозирования, с целью генерации прогнозируемого изображения с высокой точностью, и использования такого сгенерированного изображения. Однако в этом случае число применяемых опорных кадров увеличивается, и сложность обработки повышается.
Отметим, что в процессе выбора способа прогнозирования оптимальный способ прогнозирования может быть выбран посредством учета объема кода информации, такой как векторы движения, необходимой для прогнозирования, и режима кодирования и путем суммирования весового коэффициента, соответствующего объему кода, с интенсивностью сигнала остаточной погрешности. Это делает возможным еще больше повысить эффективность кодирования. Более того, для упрощения процедуры кодирования можно адаптивно выбрать способ прогнозирования с использованием характерного значения входного оригинального изображения во временном и пространственном направлениях.
Далее будет рассмотрен принцип действия кодирующего устройства 101, имеющего описанную выше конфигурацию.
Процедура кодирования в кодирующем устройстве 101 будет описана со ссылками на логическую схему, приведенную на фиг.14. Эта процедура начинается, когда изображение некоторой единицы, например макроблока, поступает с выхода буфера 112 перестановок.
На этапе S51 сумматор 113 определяет разность между изображением, поступающим от буфера 112 перестановок, и прогнозируемым изображением, генерируемым в схеме 125 прогнозирования/компенсации движения или в схеме 126 внутрикадрового прогнозирования, и передает остаточную погрешность в схему 114 ортогонального преобразования.
На этапе S52 схема 114 ортогонального преобразования осуществляет ортогональное преобразование остаточной погрешности, поступающей от сумматора 113, и выводит коэффициент преобразования в схему квантования.
На этапе S53 схема квантования 115 выполняет квантование коэффициента преобразования, поступающего от схемы 114 ортогонального преобразования, и выводит квантованный коэффициент преобразования.
На этапе S54 схема 119 деквантования осуществляет деквантование коэффициента преобразования, квантованного схемой 115 квантования, и выводит этот коэффициент преобразования в схему 120 обратного ортогонального преобразования.
На этапе S55 схема 120 обратного ортогонального преобразования осуществляет обратное ортогональное преобразование для коэффициента преобразования, поступающего от схемы деквантования 119, и выводит полученное изображение в деблокирующий фильтр 121.
На этапе S56 деблокирующий фильтр 121 устраняет блочные шумы посредством фильтрации и выводит изображение, из которого были устранены блочные шумы, в память 122 кадров.
На этапе S57 память 122 кадров записывает изображение, получаемое от деблокирующего фильтра 121.
На этапе S58 схема 123 определения режима выполняет процедуру определения режима. В процессе выполнения этой процедуры определения режима происходит определение режима, в котором следует генерировать прогнозируемое изображение. Эта процедура определения режима будет описана ниже со ссылками на логическую схему, показанную на фиг.15.
На этапе S59 схема 131 управления определяет, следует ли выполнять внутрикадровое прогнозирование, на основе результата работы схемы 123 определения режима.
Если на этапе S59 определено, что следует выполнить внутрикадровое прогнозирование, тогда на этапе S60 схема 126 внутрикадрового прогнозирования осуществляет внутрикадровое прогнозирование и выводит полученное в результате прогнозируемое изображение на сумматор 113.
Напротив, если на этапе S59 определено, что внутрикадровое прогнозирование производить не требуется, т.е. следует выполнить межкадровое прогнозирование, тогда на этапе S61 схема 125 прогнозирования/компенсации движения осуществляет прогнозирование/компенсацию движения и выводит прогнозируемое изображение на сумматор 113. Эта процедура прогнозирования/компенсации движения будет описана ниже со ссылками на логическую схему, показанную на фиг.16.
На этапе S62 схема 116 кодирования без потерь сжимает коэффициент преобразования, поступивший от схемы 115 квантования, и передает его в промежуточный буфер 117. Более того, схема 116 кодирования без потерь описывает идентификационный флаг в заголовке изображения или описывает вектор движения, поступивший от схемы 125 прогнозирования/компенсации движения, в заголовке изображения в соответствии с информацией, поступившей от схемы 123 определения режима.
На этапе S63 промежуточный буфер 117 временно сохраняет информацию, поступающую от схемы 116 кодирования без потерь.
На этапе S64 схема управления 31 определяет, была ли выполнена изложенная выше процедура для всех макроблоков одного полного кадра. Если определено, что эта процедура еще не была выполнена, вновь осуществляют процедуру, начиная с этапа S51, для другого макроблока.
Напротив, если на этапе S64 определено, что процедура уже была выполнена для всех макроблоков одного полного кадра, тогда на этапе S65 промежуточный буфер 117 передает сжатую информацию изображения в соответствии с командами от схемы 131 управления. Изложенную выше процедуру выполняют для каждого кадра.
Далее, процедура определения режима, выполняемая на этапе S58, показанном на фиг.14, будет описана со ссылками на логическую схему, представленную на фиг.15.
На этапе S81 схема 141 внутрикадрового прогнозирования и схема 142 межкадрового прогнозирования осуществляют внутрикадровое прогнозирование и межкадровое прогнозирование, соответственно, для блоков различного размера и генерируют прогнозируемые изображения. Сформированные прогнозируемые изображения поступают в схему 143 вычисления погрешности прогнозирования.
На этапе S82 схема 143 вычисления погрешности прогнозирования определяет разность между оригинальным изображением и каждым из прогнозируемых изображений, поступающих от соответствующих схем в схеме 141 внутрикадрового прогнозирования и от схемы 162 однонаправленного прогнозирования, схемы 163 двунаправленного прогнозирования и схемы 164 фильтрации в составе схемы 142 межкадрового прогнозирования. Схема 143 вычисления погрешности прогнозирования передает сигнал остаточной погрешности в схему 144 определения.
На этапе S83 схема 144 определения выполняет определение способа прогнозирования для генерации прогнозируемого изображения для передачи в сумматор 113 на основе интенсивности сигнала остаточной погрешности, поступающего от схемы 143 вычисления погрешности прогнозирования.
На этапе S84 схема 144 определения выводит информацию о режиме, представляющую собой информацию о выбранном способе прогнозирования, в схему 116 кодирования без потерь. После этого, процесс возвращается к этапу S58, показанному на фиг.14, и выполняет последующие операции обработки.
Далее, процедура прогнозирования/компенсации движения, выполняемая на этапе S61, показанном на фиг.14, будет описана подробно со ссылками на логическую схему, представленную на фиг.16.
На этапе S91 схема 181 определения вектора движения оценивает вектор движения на основе оригинального изображения и опорного кадра.
На этапе S92 схема 181 определения вектора движения проверяет, определила ли схема 123 определения режима, что обработку следует выполнять в режиме прогнозирования с фильтрацией.
Если на этапе S92 выяснилось, что не установлено, что обработку следует производить в режиме прогнозирования с фильтрацией, тогда на этапе S93 выполняют однонаправленное прогнозирование или двунаправленное прогнозирование и генерируют прогнозируемое изображение.
Иными словами, если было определено, что обработку следует выполнять в режиме однонаправленного прогнозирования, вектор движения передают из схемы 181 определения вектора движения в схему 182 однонаправленного прогнозирования и осуществляют однонаправленное прогнозирование в схеме 182. Кроме того, если было определено, что обработку следует выполнять в режиме двунаправленного прогнозирования, вектор движения передают из схемы 181 определения вектора движения в схему 183 двунаправленного прогнозирования и осуществляют двунаправленное прогнозирование в схеме 183. После того как прогнозируемое изображение будет передано в сумматор 113, процедура возвращается к этапу S61, представленному на фиг.14, и производят последующую обработку.
Напротив, если на этапе S92 было определено, что обработку следует производить в режиме прогнозирования с фильтрацией, тогда на этапе S94 схема 184 прогнозирования выделяет изображение с компенсацией движения из каждого из нескольких опорных кадров и выводит эти изображения с компенсацией движения в схему 185 фильтрации. Векторы движения передают из схемы 181 определения векторов движения в схему 184 прогнозирования и выделяют изображения с компенсацией движения с использованием этих векторов.
На этапе S95 схема 51 вычисления разности (фиг.8) в составе схемы 185 фильтрации вычисляет разность между изображением MC0 с компенсацией движения и изображением MC1 с компенсацией движения и выводит разностное изображение в фильтр 52 нижних частот.
На этапе S96 фильтр 52 нижних частот из состава схемы 185 фильтрации применяет фильтрацию нижних частот к разностному изображению, поступающему от схемы 51 вычисления разности, и выводит полученное изображение в схему 53 регулировки коэффициента передачи и в фильтр 54 верхних частот.
На этапе S97 схема 53 регулировки коэффициента передачи в составе схемы 185 фильтрации подстраивает коэффициент передачи разностного изображения, поступающего от фильтра 52 нижних частот, и выводит изображение с подстроенным коэффициентом передачи в сумматор 56.
На этапе S98 фильтр 54 верхних частот из состава схемы 185 фильтрации применяет фильтрацию верхних частот к разностному изображению, поступающему от фильтра 52 нижних частот, и передает полученное изображение в схему 55 регулировки коэффициента передачи.
На этапе S99 схема 55 регулировки коэффициента передачи в составе схемы 185 фильтрации подстраивает коэффициент передачи разностного изображения, поступающего от фильтра 54 верхних частот, и выводит изображение с подстроенным коэффициентом передачи в сумматор 56.
На этапе S100 сумматор 56 из состава схемы 185 фильтрации суммирует изображение, поступающее от схемы 53 регулировки коэффициента передачи, и изображение, поступающее от схемы 55 регулировки коэффициента передачи, для определения высокочастотных составляющих. Найденные высокочастотные составляющие поступает из сумматора 56 в сумматор 57.
На этапе S101 сумматор 57 из состава схемы 185 фильтрации суммирует изображение (высокочастотные составляющие), поступающее от сумматора 56, с изображением MC0 с компенсацией движения и выводит полученное изображение в сумматор 113 в качестве прогнозируемого изображения. После этого процедура возвращается к этапу S61, показанному на фиг.14, и осуществляется последующая обработка.
Как указано выше, кодирование выполняют с использованием прогнозируемого изображения, генерируемого посредством прогнозирования с фильтрацией, что делает возможным повысить эффективность кодирования.
В приведенном выше описании схемы 45 и 185 фильтрации имеют конфигурацию, показанную на фиг.8. Однако эту конфигурацию можно при необходимости изменить.
Фиг.17 представляет блок-схему, иллюстрирующую другой пример конфигурации схемы 45 фильтрации. Элементам конфигурации, соответствующим элементам конфигурации, показанным на фиг.8, присвоены те же самые цифровые позиционные обозначения. Избыточное описание будет, где это возможно, опущено.
Схема 51 вычисления разности, показанная на фиг.17, вычисляет разность между изображением MC0 с компенсацией движения и изображением MC1 с компенсацией движения и передает разностное изображение в фильтр 52 нижних частот.
Фильтр 52 нижних частот применяет фильтрацию нижних частот к разностному изображению, поступающему от схемы 51 вычисления разности, и передает полученное изображение в сумматор 57.
Сумматор 57 выполняет суммирование изображения, поступающего от фильтра 52 нижних частот, с изображением MC0 с компенсацией движения и передает полученное изображение на выход в качестве прогнозируемого изображения.
При использовании конфигурации, представленной на фиг.17, объем обработки может быть уменьшен по сравнению с вариантом, применяющим конфигурацию, показанную на фиг.8, так что появляется возможность работы с высокой скоростью.
Фиг.18 представляет блок-схему, иллюстрирующую еще один пример конфигурации схемы 45 фильтрации. Элементам конфигурации, соответствующим элементам конфигурации, показанным на фиг.8, присвоены те же самые цифровые позиционные обозначения. Избыточное описание будет, где это возможно, опущено.
В схеме 45 фильтрации, показанной на фиг.18, фильтрацию применяют не к сигналу во временной области, а к сигналу в частотной области. Оба варианта схемы 45 фильтрации, представленные на фиг.8 и 17, конфигурированы для выполнения фильтрации сигнала во временной области.
Схема 51 вычисления разности, показанная на фиг.18, вычисляет разность между изображением MC 0 с компенсацией движения и изображением MC1 с компенсацией движения и передает разностное изображение в схему 201 ортогонального преобразования.
Схема 201 ортогонального преобразования выполняет над разностным изображением ортогональное преобразование, представленное дискретным косинусным преобразованием (DCT) и преобразованием Адамара, преобразованием Карунена-Лоэва (KLT), и выводит сигнал, полученный после ортогонального преобразования, в полосно-пропускающий фильтр 202. Выполнение ортогонального преобразования и осуществление фильтрации сигнала в частотной области позволяет более гибко реализовать фильтрацию с высокой точностью, чем в случае фильтрации сигнала во временной области.
В случае применения дискретного косинусного преобразования (DCT) в качестве ортогонального преобразования выходной DF, получаемый после ортогонального преобразования, представлен уравнением (10) ниже. В уравнении (10), DCT(X) обозначает выполнение двумерного дискретного косинусного преобразования (DCT) над сигналом X.
Полосно-пропускающий фильтр 202 осуществляет фильтрацию выходного сигнала схемы 201 ортогонального преобразования и выводит сигнал в некотором диапазоне.
Схема 203 регулировки коэффициента передачи подстраивает коэффициент передачи выходного сигнала полосно-пропускающего фильтра 202 путем умножения его на коэффициент , а также выполняет регулировку частотных составляющих. Выходной сигнал XF схемы 203 регулировки коэффициента передачи представлен уравнением (11) ниже. В уравнении (11) BPF(X) представляет выполнение полосно-пропускающей фильтрации к сигналу X.
Схема 204 обратного ортогонального преобразования осуществляет обратное ортогональное преобразование с использованием алгоритма, соответствующего ортогональному преобразованию, выполняемому в схеме 201 ортогонального преобразования, и преобразует сигнал в частотной области, поступающий от схемы 203 регулировки коэффициента передачи, в сигнал во временной области. Например, если схема 201 ортогонального преобразования использует дискретное косинусное преобразование (DCT) в качестве ортогонального преобразования, схема 204 обратного ортогонального преобразования выполняет обратное преобразование DCT (IDCT). Выходной сигнал X схемы 204 обратного ортогонального преобразования, представлен уравнением (12) ниже. В Уравнении (12) IDCT(X) представляет выполнение двумерного обратного преобразования ГОСТ над сигналом X.
Сумматор 57 выполняет суммирование сигнала X, поступающего от схемы 204 обратного ортогонального преобразования, с изображением MC0 с компенсацией движения во временной области, и передает полученное изображение на выход в качестве прогнозируемого изображении. Окончательный выходной сигнал сумматора 57, т.е. прогнозируемое изображение S (i, j), представлено уравнением (13) следующим образом.
Таким образом, даже при выполнении фильтрации сигнала в частотной области возможна генерация прогнозируемого изображения с высокой точностью.
Более того, в рассмотрении выше предполагается, что прогнозирование с фильтрацией осуществляется с использованием двух опорных кадров. Однако в качестве опорных кадров может быть использовано большее число кадров.
Фиг.19 представляет схему, иллюстрирующую пример случая, когда используют три опорных кадра.
В примере, показанном на фиг.19, в качестве опорных кадров заданы кадр, предшествующий прогнозируемому кадру на один временной шаг, кадр еще на один шаг раньше и кадр еще дополнительно на один кадр раньше прогнозируемого кадра. Ближайший к прогнозируемому кадру, предшествующий ему на один временной шаг кадр обозначен как опорный кадр R0, кадр на один временной шаг раньше опорного кадра R0 обозначен как опорный кадр R 1 и кадр на один временной шаг раньше опорного кадра R 1 обозначен как опорный кадр R2.
Фиг.20 представляет блок-схему, иллюстрирующую пример конфигурации схемы фильтрации для случая, когда используют три опорных кадра.
Как показано на фиг.20, схема 211 фильтрации образована схемой 221 фильтрации и схемой 222 фильтрации. Каждая из этих схем 221 и 222 фильтрации имеет конфигурацию, показанную на фиг.8, 17 или 18. При этом схема 211 фильтрации выполнена с возможностью работы с тремя входами и одним выходом путем каскадного соединения схем 45 фильтрации, имеющих структуру с двумя входами и одним выходом.
Дальнейшее описание здесь будет дано в предположении, что изображением с компенсацией движения, выделенным из опорного кадра R0, является изображение MC 0 с компенсацией движения, изображением с компенсацией движения, выделенным из опорного кадра R1, является изображение MC1 с компенсацией движения и изображением с компенсацией движения, выделенным из опорного кадра R2 , является изображение МС2 с компенсацией движения. Изображения MC1 и МС2 с компенсацией движения поступают в схему 221 фильтрации, а изображение MC0 с компенсацией движения поступает в схему 222 фильтрации.
Схема 221 фильтрации осуществляет фильтрацию с использованием изображений MC1 и МС2 с компенсацией движения в качестве изображений MC0 и MC1 с компенсацией движения, показанных на фиг.8 и других соответственно, а промежуточный выходной сигнал X, являющийся результатом фильтрации, выводится в схему 222 фильтрации.
Схема 222 фильтрации выполняет фильтрацию с использованием указанного промежуточного выходного сигнала X и изображения MC0 с компенсацией движения в качестве изображений MC0 м MC1 с компенсацией движения, показанных на фиг.8 и других соответственно, а результат фильтрации выводится в качестве прогнозируемого изображения.
Можно также в декодирующем устройстве 1, показанном на фиг.3, или в кодирующем устройстве 101, показанном на фиг.11, вместо схемы 45 фильтрации применить схему 211 фильтрации, обрабатывающую три таких опорных кадра.
Отметим, что схема 221 фильтрации и схема 222 фильтрации не обязательно должны иметь одинаковую конфигурацию, а могут иметь разные конфигурации, так что одна из них может иметь конфигурацию, показанную на фиг.8, а другая конфигурацию, представленную на фиг.17. Более того, можно также сделать параметры фильтров отличными одни от других, учитывая при этом характеристики ввода/вывода, полученные до и после фильтрации.
Схема 211 фильтрации может выполнять фильтрацию не для изображений с компенсацией движения, выделенных из опорных кадров, расположенных в одном направлении вдоль оси времени, а для изображений с компенсацией движения, выделенных из трех опорных кадров, расположенных в прямом и обратном направлениях вдоль оси времени.
Отметим, что если при использовании кадров, предшествующих прогнозируемому кадру и следующих за ним вдоль оси времени, в качестве опорных кадров, включая случай, описанный со ссылками на фиг.7, такой параметр, как коэффициент отвода, используемый для фильтрации, можно динамически изменять в зависимости от направления между опорными кадрами по оси времени или расстояния между этими кадрами.
Сжатую информацию изображения передают от кодирующего устройства 101 декодирующему устройству 1 посредством различных носителей, включая носители записи, такие как оптические диски, магнитные диски, устройства флэш-памяти, системы спутникового вещания, кабельного телевидения, Интернет и сеть мобильной телефонной связи.
Фиг.21 и 22 представляют схемы, иллюстрирующие результаты кодирования, выполняемого с использованием прогнозируемого изображения, генерируемого посредством схемы 45 фильтрации, показанной на фиг.8.
График на фиг.21 иллюстрирует объем получаемых кодированных данных.
На фиг.21 горизонтальная ось представляет номер кадра. Например, "1" на горизонтальной оси представляет первую картинку, движущегося изображения, подлежащего обработке, а "2" представляет вторую картинку. Вертикальная ось представляет объем кода для каждой картинки в единицах бит.Здесь показано, что чем меньше величина на вертикальной оси, тем выше коэффициент сжатия, который может быть достигнут при сжатии этого кадра.
Линия L1 представляет объем кода в случае, когда кодирование осуществляется с использованием существующего стандарта AVC сжатия изображения, а линия L 2 представляет объем кода в случае, когда кодирование производится с применением прогнозирования с фильтрацией. В этом примере предполагается, что картина кадра с внутренним сжатием (I-кадр) вставляется в каждые 15 кадров и что 14 кадров, отличных от указанной картинки с внутренним сжатием, являются прогнозируемыми P-кадрами.
Как показано на фиг.21, что касается I-кадров, поскольку нет разницы между случаем применения стандарта AVC и случаем применения алгоритма кодирования с использованием прогнозирования с фильтрацией, объемы генерируемого кода оказываются одинаковыми. Кроме того, поскольку для кодирования с применением прогнозирования с фильтрацией требуются два опорных кадра, объем кода второго P-кадра, для которого только один, первый I-кадр может быть использован в качестве опорного кадра, имеет такую же величину, как и в случае применения стандарта AVC. Анализ объемов кода для других Р-кадров показывает, что при использовании способа кодирования с применением прогнозирования с фильтрацией эти величины, как указано линией L2, оказываются меньше величин, обозначенных линией L1.
При применении способа сжатия с использованием прогнозирования с фильтрацией объем генерируемого кода можно уменьшить в большей степени, поскольку точность прогнозируемого изображения в этом случае выше и объем кодированных данных остаточной погрешности может быть уменьшен в большей степени, чем в случае применения стандарта AVC.
График на фиг.22 иллюстрирует качество изображения, передаваемого кодированными данными.
На фиг.22 аналогично горизонтальной оси фиг.21 горизонтальная ось представляет номер кадра. Вертикальная ось представляет величину PSNR (отношение сигнал/шум для изображения). Величина PSNR представляет собой объективный показатель, так что чем больше эта величина, тем ближе рассматриваемое изображение к оригинальному изображению (выше качество изображения). Единицей измерения этого отношения является [dB].
Линия L11 представляет величину отношения PSNR для случая, когда кодирование осуществляется с использованием существующего алгоритма AVC, а линия L12 представляет величину отношения PSNR для случая, когда кодирование осуществляется с использованием прогнозирования с фильтрацией. По тем же самым причинам, как и в случае фиг.21, величины отношения PSNR для I-кадра и для второго Р-кадра также становятся одинаковыми, как в ситуации применения стандарта AVC, так и в ситуации кодирования с использованием прогнозирования с фильтрацией.
Напротив, как и для других Р-кадров, величины отношения PSNR для случая кодирования с использованием прогнозирования с фильтрацией оказываются, как показывает линия L12, больше величин отношения PSNR для случая применения стандарта AVC, представленных линией L11.
Применение алгоритма кодирования с использованием прогнозирования с фильтрацией обеспечивает в большей степени улучшение отношения PSNR, т.е. качества изображения, поскольку точность прогнозируемого изображения может быть увеличена.
Описанная выше последовательность процессов может быть реализована аппаратным или программным способом. В случае программного способа реализации этой последовательности процессов программы, составляющие соответствующее программное обеспечение, инсталлируют с носителя записи в компьютер, включенный в состав специализированного оборудования, или в персональный компьютер общего назначения или в аналогичное устройство, способное выполнять различные функции посредством инсталлирования различных программ.
Фиг.23 представляет блок-схему, иллюстрирующую пример конфигурации оборудования персонального компьютера, выполняющего последовательность процессов, описанных в соответствии с программой.
Центральный процессор ЦП 251, постоянное запоминающее устройство (ПЗУ) 252 и оперативное запоминающее устройство (ОЗУ) 253 соединены посредством шины 254.
С шиной 254 соединен также интерфейс 255 ввода/вывода. Этот интерфейс 255 ввода/вывода соединен с устройством 256 ввода, включающим клавиатуру, мышь, микрофон и т.п., устройством 257 вывода, включающим дисплей, громкоговоритель и т.п., запоминающим устройством 258, включающим накопитель на жестком магнитном диске, энергонезависимую память и т.п., модулем 259 связи, включающим сетевой интерфейс и т.п., и приводом 260 для сменного носителя 261 записи, такого как оптический диск или полупроводниковое запоминающее устройство.
В компьютере, конфигурированном, как указано выше, процессор ЦП 251 загружает программу, хранящуюся, например, в запоминающем устройстве 258, в ОЗУ 253 через интерфейс 255 ввода/вывода и шину 254 и выполняет программу, осуществляя тем самым описанную выше последовательность процессов.
Программу, выполняемую процессором ЦП 251, получают в виде записи, например, на сменном носителе 261 записи или по кабельному или беспроводному каналу связи, такому как локальная сеть связи, Интернет или система цифрового вещания, и инсталлируют в запоминающем устройстве 258.
Отметим, что программа, выполняемая компьютером, может предусматривать осуществление процессов последовательно во времени в соответствии с описываемым здесь порядком, либо предусматривать параллельное осуществление процессов, либо их осуществление в нужные моменты времени по мере вызова.
Спектр вариантов настоящего изобретения не ограничивается рассмотренным выше вариантом. Здесь могут быть сделаны разнообразные изменения, не выходящие за пределы объема настоящего изобретения.
Например, декодирующее устройство 1 или кодирующее устройство 101, описанные выше, могут быть применены в любом электронном устройстве. Примеры этого будут рассмотрены ниже.
Фиг.24 представляет блок-схему, иллюстрирующую пример конфигурации основной части телевизионного приемника, использующего декодирующее устройство, в котором применено настоящее изобретение.
Телевизионный приемник 300, показанный на фиг.24, включает в себя тюнер 313 для приема передач наземного телевидения, видеодекодер 315, процессор 318 видеосигнала, генератор 319 графики, драйвер 320 панели дисплея и панель 321 дисплея.
Тюнер 313 для приема передач наземного телевидения принимает сигнал вещания из системы аналогового наземного вещания через антенну, демодулирует этот сигнал, получает видеосигнал и передает его в видеодекодер 315. Этот видеодекодер 315 осуществляет декодирование видеосигнала, поступающего от тюнера 313 для приема передач наземного телевидения, и передает полученный сигнал цифровой составляющей в процессор 318 видеосигнала.
Процессор 318 видеосигнала осуществляет некоторую обработку, например устранение шумов из состава видеоданных, поступивших от видеодекодера 315, и передает полученные видеоданные в генератор 319 графики.
Генератор 319 графики генерирует видеоданные программы, которую нужно представить на панели 321 дисплея, данные изображения путем выполнения процесса в соответствии с приложением, поступившим через сеть связи, или тому подобное, и передает сформированные видеоданные драйверу 320 панели дисплея. Кроме того, генератор 319 графики выполняет по мере необходимости такие процессы, как генерацию видеоданных (графики) для представления на экране, используемом пользователем для выбора просматриваемой телепрограммы или иного объекта, наложение их на видеоданные просматриваемой программы для получения суммарных видеоданных и передачу этих суммарных видеоданных на схему 320 управления панелью.
Схема 320 управления панелью управляет панелью 321 дисплея в соответствии с видеоданными, поступающими от генератора 319 графики, и вызывает представление изображения телевизионной программы или различных экранов, описанных выше, на панель 321 дисплея.
Панель 321 дисплея может быть построена на основе жидкокристаллического дисплея (LCD) или аналогичного устройства и представляет изображение телевизионной программы или иное изображение под управлением драйвера 320 панели дисплея.
Кроме того, телевизионный приемник 300 включает в себя также аналого-цифровой преобразователь 314 аудиосигнала, процессор 322 аудиосигнала, схему 323 эхоподавления/синтеза аудиосигнала, усилитель 324 аудиосигнала и громкоговоритель 325.
Тюнер 313 для приема передач наземного телевидения демодулирует принимаемый сигнал вещания для получения видеосигнала, а также аудиосигнала. Этот тюнер 313 для приема передач наземного телевидения передает полученный аудиосигнал в аналого-цифровой преобразователь 314 аудиосигнала.
Аналого-цифровой преобразователь 314 аудиосигнала осуществляет аналого-цифровое преобразование аудиосигнала, приходящего от тюнера 313 для приема передач наземного телевидения, и передает полученный цифровой аудиосигнал процессору 322 аудиосигнала.
Процессор 322 аудиосигнала выполняет некую обработку, такую как устранение шумов, аудиоданных, приходящих от аналого-цифрового преобразователя 314 аудиосигнала, и передает полученные аудиоданные в схему 323 эхоподавления/синтеза аудиосигнала.
Схема 323 эхоподавления/синтеза аудиосигнала передает аудиоданные, поступающие от процессора 322 аудиосигнала, усилителю 324 аудиосигнала.
Усилитель 324 аудиосигнала выполняет цифроаналоговое преобразование и усиление аудиоданных, поступающих от схемы 323 эхоподавления/синтеза аудиосигнала, и подстраивает сигнал до некоторой громкости перед тем, как вывести звуковой сигнал через громкоговоритель 325.
Кроме того, телевизионный приемник содержит также цифровой тюнер 316 и MPEG-декодер 317.
Цифровой тюнер 316 принимает сигнал цифрового вещания (наземное цифровое вещание, цифровое вещание через BS (Вещательный спутник)/CS (Спутник связи)) через антенну, демодулирует этот сигнал, выделяет из него транспортный поток MPEG-TS и передает в MPEG-декодер 317.
MPEG-декодер 317 дескремблирует транспортный поток MPEG-TS, поступающий от цифрового тюнера 316, и выделяет поток, включающий данные программы, подлежащей воспроизведению (для просмотра и прослушивания). MPEG-декодер 317 осуществляет декодирование аудиопакетов, образующих выделенный поток, и передает полученные аудиоданные процессору 322 аудиосигнала. Кроме того, MPEG-декодер 317 декодирует видео пакеты, образующие поток, и передает полученные видеоданные процессору 318 видеосигнала. Кроме того, MPEG-декодер 317 передает данные электронной программы передач (EPG), выделенные из транспортного потока MPEG-TS, процессору ЦП 332 по тракту, не показанному на этом чертеже.
Телевизионный приемник 300 использует декодирующее устройство 1, описанное выше, в качестве MPEG-декодера 317, который декодирует видео пакеты описанным выше способом. Вследствие этого, аналогично случаю декодирующего устройства 1, MPEG-декодер 317 осуществляет декодирование с использованием прогнозируемого изображения, генерируемого посредством прогнозирования с фильтрацией. Таким образом, можно получить декодированное изображение высокой четкости более эффективно за счет использования корреляции изображений по времени.
Видеоданные, поступающие от MPEG-декодера 317, подвергают аналогично случаю видеоданных, приходящих от видеодекодера 315, некоторой обработке в процессоре 318 видеосигнала, и накладывает поверх обработанных видеоданных другие видеоданные или аналогичную информацию, формируемую генератором 319 графики. Полученные данные поступают к панели 321 дисплея через схему 320 управления панелью, так что на дисплее появляется соответствующее этим данным изображение.
Аудиоданные, поступающие от MPEG-декодера 317, подвергают аналогично случаю аудиоданных, приходящих от аналого-цифрового преобразователя 314 аудиосигнала, некоторой обработке в процессоре 322 аудиосигнала, передают в усилитель 324 аудиосигнала через схему 323 эхоподавления/синтеза аудиосигнала и затем осуществляют цифроаналоговое преобразование или усиление этих данных. В результате громкоговоритель 325 излучает звук, громкость которого была подстроена до некоторого уровня.
Более того, телевизионный приемник 300 включает в себя также микрофон 326 и аналого-цифровой преобразователь 327.
Аналого-цифровой преобразователь 327 принимает аудиосигнал от пользователя, фиксируемый микрофоном 326, встроенным в телевизионный приемник 300, для использования в звуковом разговоре, выполняет аналого-цифровое преобразование принятого аудиосигнала и передает полученные цифровые аудиоданные в схему 323 эхоподавления/синтеза аудиосигнала.
При получении аудиоданных пользователя (пользователь A) телевизионного приемника 300 от аналого-цифрового преобразователя 327 схема 323 эхоподавления/синтеза аудиосигнала осуществляет подавление эхо в аудиоданных от пользователя A и накладывает эти аудиоданные, например, на другие аудиоданные, которые должны быть выведены громкоговорителем 325, через усилитель 324 аудиосигнала.
Кроме того, телевизионный приемник 300 включает в себя также аудиокодек 328, внутреннюю шину 329, SDRAM (Синхронное динамическое ОЗУ) 330, флэш-память 331, процессор ЦП 332, USB-интерфейс (универсальная последовательная шина) 333 и сетевой интерфейс 334.
Аналого-цифровой преобразователь 327 принимает аудиосигнал от пользователя, зафиксированный микрофоном 326, установленным в телевизионном приемнике 300 для голосового разговора, осуществляет аналого-цифровое преобразование принятого аудиосигнала и передает полученные цифровые аудиоданные аудиокодеку 328.
Аудиокодек 328 преобразует аудиоданные, поступающие от аналого-цифрового преобразователя 327, в данные в некотором формате для передачи через сеть связи и передает эти данные сетевому интерфейсу 334 по внутренней шине.
Сетевой интерфейс 334 соединен с сетью связи через кабель, присоединенный к сетевому терминалу 335. Сетевой интерфейс 334 передает аудиоданные, поступающие от аудиокодека 328, например, другому устройству, соединенному с сетью связи. Кроме того, сетевой интерфейс 334 принимает, например, аудиоданные, переданные от другого устройства, соединенного с сетью связи через сетевой терминал 335, и передает эти аудиоданные аудиокодеку по внутренней шине 329.
Аудиокодек 328 преобразует аудиоданные, поступающие от сетевого интерфейса 334, в данные в некотором формате и передает эти данные в схему 323 эхоподавления/синтеза аудиосигнала.
Схема 323 эхоподавления/синтеза аудиосигнала выполняет эхоподавление для аудиоданных, поступающих от аудиокодека 328, и инициирует, например, суммирование полученных аудиоданных с другими аудиоданными, подлежащими выводу через громкоговоритель 325, посредством усилителя 324 аудиосигнала.
Запоминающее устройство SDRAM 330 сохраняет различные данные, необходимые процессору ЦП 332 для выполнения обработки.
Флэш-память 331 записывает программу, выполняемую процессором ЦП 332. Процессор ЦП 332 считывает программу, записанную во флэш-памяти 331, в соответствующие моменты времени, такие как включение телевизионного приемника 300. Во флэш-памяти записывают также данные электронной программы передач, полученные из сигнала цифрового вещания. Эти данные получают от определенного сервера через сеть связи или аналогичным образом.
Например, флэш-память 331 сохраняет транспортный поток MPEG-TS, включая данные контента, получаемые от определенного сервера через сеть связи под управлением процессора ЦП 332. Флэш-память 331 передает транспортный поток MPEG-TS в MPEG-декодер 317 по внутренней шине 329 под управлением, например, процессора ЦП 332.
MPEG-декодер 317 обрабатывает транспортный поток MPEG-TS способом, аналогичным случаю транспортного потока MPEG-TS, поступающего от цифрового тюнера 316. Таким образом, телевизионный приемник 300 может принимать данные контента, составленные из видеоданных, аудиоданных и подобных данных, через сеть связи, декодирует эти данные контента с использованием MPEG-декодера 317, представляет видеоданные на дисплее и выводит аудиосигнал.
Кроме того, телевизионный приемник 300 включает в себя также фотоприемник 337, принимающий излучение инфракрасного сигнала, передаваемого пультом 351 дистанционного управления.
Фотоприемник 337 принимает инфракрасное излучение от пульта 351 дистанционного управления и передает управляющий код, указывающий содержание команды пользователя, определенной в результате декодирования центральному процессору ЦП 332.
Процессор ЦП 332 выполняет программу, записанную во флэш-памяти 331, и управляет всей работой телевизионного приемника 300 в соответствии с управляющим кодом, поступившим от фотоприемника 337, или аналогичным кодом. Процессор ЦП 332 соединен с каждым узлом телевизионного приемника 300 по тракту, не показанному на чертеже.
USB-интерфейс 333 передает и принимает данные к/от внешнего устройства телевизионному приемнику 300, соединенному через USB-кабель, присоединенный к USB-терминалу 336. Сетевой интерфейс 334 соединен с сетью связи через кабель, присоединенный к сетевому терминалу 335, а также передает и принимает данные, отличные от аудиоданных, к и от различных устройств, соединенных с сетью связи.
При использовании декодирующего устройства 1 в качестве MPEG-декодера 317 рассматриваемый телевизионный приемник 300 способен генерировать прогнозируемое изображение с высокой точностью без увеличения процессорной нагрузки. В результате, телевизионный приемник 300 может получать декодированное изображение с более высокой четкостью на основе сигнала вещания, принимаемого через антенну, или данных вещания, получаемых по сети связи, и представления этого изображения на дисплее.
Фиг.25 представляет блок-схему, иллюстрирующую пример конфигурации основной части мобильного телефона, использующего декодирующее устройство и кодирующее устройство, в котором применено настоящее изобретение.
Мобильный телефон 400, показанный на фиг.25, включает в себя главный блок 450 управления, конфигурированный для полного управления всеми функциями индивидуальных блоков, блок 451 питания, блок 452 управления вводом, кодирующее устройство 453 кодирования изображения, интерфейс 454 видеокамеры, блок 455 управления жидкокристаллическим дисплеем, декодер 456 изображения, мультиплексор/демультиплексор 457, блок 462 записи/воспроизведения, модулятор/демодулятор 458 и аудиокодек 459. Все они соединены посредством шины 460.
Кроме того, мобильный телефон 400 включает рабочую клавишу 419, видеокамеру 416 на основе приборов с зарядовой связью (ПЗС (CCD)), жидкокристаллический дисплей 418, запоминающее устройство 423, приемопередатчик 463, антенну 414, микрофон (mic) 421 и громкоговоритель 417.
Когда пользователь нажимает клавишу завершения разговора и включения питания, блок 451 питания подает питание каждому блоку телефона от аккумулятора, переводя тем самым мобильный телефон в рабочее состояние.
Мобильный телефон 400 выполняет разнообразные операции в различных режимах, таких как режим голосового вызова и режим передачи данных, например передачи и приема аудиосигнала, передачи и приема электронной почты и данных изображения, считывания изображения и записи данных, под управлением главного блока 450 управления, содержащего процессор ЦП, ПЗУ, ОЗУ и т.п.
Например, в режиме голосового вызова мобильный телефон 400 преобразует с использованием аудиокодека 450 аудиосигнал, уловленный микрофоном (mic) 421, в цифровые аудиоданные, выполняет расширение спектра этих цифровых аудиоданных в модуляторе/демодуляторе 458 и осуществляет цифроаналоговое преобразование и преобразование частоты посредством приемопередатчика 463. Этот мобильный телефон 400 передает на базовую станцию, не показанную на чертеже, полученный передаваемый сигнал через антенну 414. Указанный передаваемый сигнал (аудиосигнал), переданный на базовую станцию, пересылают мобильному телефону на другом конце вызова через телефонную сеть общего пользования.
Кроме того, в режиме, например, голосового вызова мобильный телефон 400 усиливает с использованием приемопередатчика 463 принимаемый сигнал, который был принят антенной 414, затем осуществляет преобразование частоты и аналого-цифровое преобразование сигнала, выполняет процедуру сжатия спектра сигнала посредством модулятора/демодулятора 458 и преобразует результирующий сигнал в аналоговый аудиосигнал с использованием аудиокодека 459. Мобильный телефон 400 выводит полученный путем преобразования аналоговый аудиосигнал через громкоговоритель.
Кроме того, например, в случае передачи сообщения электронной почты в режиме передачи данных мобильный телефон 400 принимает с использованием блока 452 управления вводом текстовые данные электронной почты, введенные посредством рабочей клавиши 419. Мобильный телефон 400 обрабатывает эти текстовые данные с использованием главного блока 450 управления и представляет полученные данные в виде изображения на жидкокристаллическом дисплее 418 через блок 455 управления жидкокристаллическим дисплеем.
Далее, мобильный телефон 400 генерирует с использованием главного блока 450 управления данные электронной почты на основе текстовых данных, принимаемых блоком 452 управления вводом в соответствии с командами пользователя или подобных команд. Мобильный телефон 400 выполняет с использованием модулятора/демодулятора 458 расширение спектра для данных электронной почты и осуществляет с применением приемопередатчика 463 цифроаналоговое преобразование и преобразование частоты. Мобильный телефон 400 передает полученный в результате преобразования передаваемый сигнал на базовую станцию, не показанную на чертеже, через антенну 414. Передаваемый сигнал (электронную почту), переданный на базовую станцию, направляют на некоторый адрес через сеть связи, почтовый сервер и т.п.
Кроме того, например, при приеме сообщения электронной почты в режиме передачи данных мобильный телефон 400 принимает с использованием приемопередатчика 463 сигнал, переданный от базовой станции, через антенну 414, усиливает этот сигнал и затем выполняет преобразование частоты и аналого-цифровое преобразование. Далее мобильный телефон 400 осуществляет сжатие спектра принимаемого сигнала в модуляторе/демодуляторе 458 с целью восстановления первоначальных данных электронной почты. Мобильный телефон 400 представляет восстановленные первоначальные данные электронной почты на жидкокристаллическом дисплее 418 через блок 455 управления этим жидкокристаллическим дисплеем.
Отметим, что мобильный телефон 400 может также записывать (сохранять) принятые данные электронной почты в запоминающем устройстве 423 посредством блока 462 записи/воспроизведения.
Запоминающее устройство 423 представляет собой какой-либо перезаписываемый носитель записи. В качестве запоминающего устройства 423 можно использовать, например, полупроводниковое запоминающее устройство, такое как ОЗУ или встроенная флэш-память, либо это может быть накопитель на жестком магнитном диске, либо сменный носитель записи, такой как магнитный диск, магнитооптический диск, оптический диск, USB-память или карта памяти. Безусловно, может быть также использован носитель любого другого типа.
Далее, в случае, например, передачи данных изображения в режиме передачи данных мобильный телефон 400 генерирует с использованием ПЗС-камеры 416 данные изображения посредством считывания соответствующего изображения. Эта ПЗС-камера 416 включает оптические приборы, такие как объектив и диафрагма, и прибор с зарядовой связью (ПЗС), служащий фотоэлектрическим преобразовательным элементом. Камера считывает изображение объекта, преобразует интенсивность принимаемого света в электрический сигнал и генерирует данные изображения объекта. Устройство 453 кодирования изображения сжимает и кодирует эти данные изображения через интерфейс 454 камеры с использованием некоторого алгоритма кодирования, например, MPEG2, MPEG4 или аналогичного алгоритма, с целью преобразования их в кодированные данные изображения.
Мобильный телефон 400 использует кодирующее устройство 101, описанное выше, в качестве устройства 453 кодирования изображения, выполняющего такую процедуру. Поэтому, аналогично случаю кодирующего устройства 101, кодирующее устройство 453 изображения выполняет кодирование с использованием прогнозируемого изображения, генерируемого посредством прогнозирования с фильтрацией, так что это прогнозируемое изображение включает большое число высокочастотных составляющих и обладает небольшой разностью относительно оригинального изображения. Таким образом, объем кода, назначаемого остаточной погрешности, может быть уменьшен, а эффективность кодирования может быть повышена.
Отметим, что при этом мобильный телефон 400 одновременно осуществляет с использованием аудиокодека 459 аналого-цифровое преобразование аудиосигнала, уловленного микрофоном (mic) 421 в ходе считывания изображения посредством ПЗС-камеры 416 и затем кодирует этот аудиосигнал.
Мобильный телефон мультиплексирует с использованием мультиплексора/демультиплексора 457 кодированные данные изображения, поступающие от устройства 453 кодирования изображения, и цифровые аудиоданные, поступающие от аудиокодека 459, с применением некоторого алгоритма. Мобильный телефон 400 осуществляет с использованием модулятора/демодулятора 458 расширение спектра полученных мультиплексированных данных и выполняет с применением приемопередатчика 463 цифроаналоговое преобразование и преобразование частоты. Мобильный телефон 400 передает получаемый в результате преобразования передаваемый сигнал на базовую станцию, не показанную на чертеже, через антенну 414. Передаваемый сигнал (данные изображения), который был передан на базовую станцию, поступает на другой конец канала связи через сеть связи или подобную структуру.
Отметим, что когда данные изображения передавать не нужно, мобильный телефон 400 может также представить данные изображения, генерируемые с использованием ПЗС-камеры 416, на жидкокристаллическом дисплее 418 посредством блока 455 управления дисплеем без вмешательства устройства 453 кодирования изображения.
Кроме того, в случае, например, когда нужно в режиме передачи данных принять данные файла движущегося изображения, имеющего ссылку на упрощенную начальную страницу или подобный объект, мобильный телефон 400 принимает с использованием приемопередатчика 463 через антенну 414 сигнал, переданный базовой станцией, усиливает этот сигнал и затем выполняет преобразование частоты и аналого-цифровое преобразование. Мобильный телефон 400 осуществляет сжатие спектра принимаемого сигнала посредством модулятора/демодулятора 458 для восстановления первоначальных мультиплексированных данных. Затем мобильный телефон 400 демультиплексирует с применением мультиплексора/демультиплексора 457 эти мультиплексированные данные для разделения их на кодированные данные изображения и аудиоданные.
Мобильный телефон 400 декодирует с использованием декодера 456 изображения кодированные данные изображения с применением алгоритма декодирования, соответствующего некоторому алгоритму кодирования, такому как MPEG2 или MPEG4, для генерации данных воспроизводимого движущегося изображения и представления этих данных на жидкокристаллическом дисплее 418 через блок 455 управления жидкокристаллическим дисплеем. Это позволяет, например, представить на жидкокристаллическом дисплее 418 данные движущегося изображения, включенные в файл движущегося изображения, имеющего ссылку на упрощенную исходную страницу.
Мобильный телефон 400 использует декодирующее устройство 1, описанное выше, в качестве декодера 456 изображения, выполняющего такую процедуру. Поэтому, аналогично случаю декодирующего устройства 1, декодер 456 изображения осуществляет декодирование с использованием прогнозируемого изображения, генерируемого посредством прогнозирования с фильтрацией. Таким образом, декодированное изображение высокой четкости можно получить более эффективно с использованием корреляции изображений во времени.
При этом мобильный телефон 400 одновременно преобразует цифровые аудиоданные в аналоговый аудиосигнал с использованием аудиокодека 459 и выводит аудиосигнал через громкоговоритель 417. Это позволяет, например, воспроизводить аудиоданные, включенные в файл движущегося изображения, имеющий ссылку на упрощенную начальную страницу.
Отметим, что аналогично случаю электронной почты, мобильный телефон 400 способен также вызывать запись (сохранение) принимаемых данных, связанных с упрощенной начальной страницей, в запоминающем устройстве 423 через блок 462 записи/воспроизведения.
Кроме того, мобильный телефон 400 может также анализировать с использованием главного блока 450 управления двумерный код, полученный ПЗС-камерой 416 в результате считывания изображения, и принимать информацию, содержащуюся в этом двумерном коде.
Далее, мобильный телефон 400 может поддерживать связь с внешним устройством посредством инфракрасного излучения с использованием блока 481 инфракрасной связи.
При использовании кодирующего устройства 1 в качестве кодирующего устройства 453 изображения мобильный телефон 400 может повысить эффективность кодирования данных, генерируемых, например, ПЗС-камерой 416, без увеличения сложности обработки. В результате, мобильный телефон 400 может передавать другому устройству кодированные данные (данные изображения) с высокой эффективностью кодирования.
Кроме того, при использовании декодирующего устройства 1 в качестве декодера 456 изображения мобильный телефон 400 может генерировать прогнозируемое изображение с высокой точностью без увеличения процессорной нагрузки. В результате, мобильный телефон 400 может получать декодированное изображение повышенной четкости на основе, например, файла движущегося изображения, связанного по ссылке с начальной страницей, и может представить это изображение на дисплее.
Отметим, что хотя приведенное выше описание было дано в контексте мобильного телефона 400, применяющего ПЗС-камеру 416, такой мобильный телефон 400 может вместо ПЗС-камеры 416 использовать формирователь сигналов изображения (КМОП-формирователь сигналов изображения), построенный на основе КМОП-структур (комплементарные структуры металл-оксид-полупроводник). В этом случае тоже, аналогично случаю применения ПЗС-камеры 416, мобильный телефон 400 может считывать изображение объекта и генерировать данные этого изображения объекта.
Кроме того, хотя приведенное выше описание было дано в контексте мобильного телефона 400, рассмотренные декодирующее устройство 1 и кодирующее устройство 101 могут быть, аналогично случаю мобильного телефона 400, применены в любом устройстве, имеющем функцию считывания изображения или функцию связи, как и мобильный телефон 400, таком как, например, персональный цифровой помощник (PDA), смартфон, ультрамобильный персональный компьютер (UMPC), компьютер нетбук или портативный персональный компьютер (ноутбук).
Фиг.26 представляет блок-схему, иллюстрирующую пример конфигурации основной части устройства записи на жестком магнитном диске, использующего декодирующее устройство и кодирующее устройство, в которых применено настоящее изобретение.
Устройство 500 записи на жестком магнитном диске (HDD), показанное на фиг.26, представляет собой устройство, сохраняющее на встроенном жестком магнитном диске аудиоданные и видеоданные программы вещания, включенной в сигнал вещания (телевизионный сигнал), передаваемый от спутника, наземной антенны или аналогичного устройства и принимаемый тюнером, и предоставляющее сохраненные данные пользователю в нужный момент согласно командам этого пользователя.
Устройство 500 записи на жестком магнитном диске может выделять, например, аудиоданные и видеоданные из сигнала вещания, декодировать эти данные по мере необходимости и сохранять на встроенном жестком магнитном диске. Кроме того, устройство 500 записи на жестком магнитном диске может также получать аудиоданные или видеоданные от другого устройства через, например, сеть связи, декодировать эти данные по мере необходимости и сохранять на встроенном жестком магнитном диске.
Далее, устройство 500 записи на жестком магнитном диске может декодировать аудиоданные и видеоданные, записанные на, например, встроенном в устройство жестком магнитном диске, передавать декодированные данные монитору 560, представлять изображение на экране этого монитора 560 и выводить аудиосигнал через громкоговоритель монитора 560.
Безусловно, возможно также выполнение других операций.
Как показано на фиг.26, устройство 500 записи на жестком магнитном диске включает в себя приемник 521, демодулятор 522, демультиплексор 523, аудиодекодер 524, видеодекодер 525 и блок 526 управления устройством записи. Устройство 500 записи на жестком магнитном диске включает в себя далее память 527 данных электронной программы передач (EPG), память 528 программ, рабочую память 529, конвертор 530 дисплея, блок 531 управления экранным меню (OSD), блок 532 управления дисплеем, блок 533 записи/воспроизведения, цифроаналоговый преобразователь 534 и блок связи 535.
Кроме того, конвертор 530 дисплея включает в себя видеокодирующее устройство 541. Блок 533 записи/воспроизведения включает в себя кодирующее устройство 551 и декодер 552.
Приемник 521 принимает инфракрасный сигнал от пульта дистанционного управления (не показан), преобразует его в электрический сигнал и передает блоку 526 управления устройством записи. Этот блок 526 управления устройством записи содержит, например, микропроцессор или аналогичное устройство и выполняет различные операции в соответствии с программой, записанной в памяти 528 программ. В это время блок 526 управления устройством записи использует рабочую память 529 в зависимости от необходимости.
Блок 535 связи соединен с сетью связи и осуществляет связь с другим устройством через эту сеть связи. Например, блок 526 управления устройством записи может управлять блоком 535 связи для осуществления связи с тюнером (не показан) и передачи этому тюнеру главным образом сигнала управления выбором канала.
Демодулятор 522 осуществляет демодуляцию сигнала, поступающего от тюнера, и передает результат демультиплексору 523. Этот демультиплексор 523 выполняет демультиплексирование данных, поступающих от демодулятора 522, для разделения их на аудиоданные, видеоданные и данные электронной программы передач (EPG) и передает полученные данные в аудиодекодер 524, видеодекодер 525 и блок 526 управления устройством записи, соответственно.
Аудиодекодер 524 выполняет декодирование входных аудиоданных с использованием, например, алгоритма MPEG и передает результат блоку 533 записи/воспроизведения. Видеодекодер 525 осуществляет декодирование входных видеоданных с использованием, например, алгоритма MPEG и передает результат конвертору 530 дисплея. Блок 526 управления устройством записи передает входные данные электронной программы передач (EPG) в память 527 данных EPG для записи этих данных EPG в памяти.
Конвертор 530 дисплея кодирует с использованием видеокодирующего устройства 541 видеоданные, поступающие от видеодекодера 535 или от блока 526 управления устройством записи, для преобразования их в видеоданные, например, в стандарте NTSC и передает результат преобразования в блок 533 записи/воспроизведения. Кроме того, конвертор 530 дисплея преобразует размер экрана видеоданных, поступающих от видеодекодера 525 или от блока 526 управления устройством записи, к размеру экрана, соответствующему размеру монитора 560, преобразует видеоданные к стандарту NTSC с использованием видеокодирующего устройства 541, трансформирует эти данные в аналоговый сигнал и передает в блок 532 управления дисплеем.
По командам от блока 526 управления устройством записи блок 532 управления дисплеем накладывает сигнал экранного меню (OSD) от блока 531 управления этим меню на видеосигнал, поступающий от конвертора 530 дисплея, и передает результат монитору 560 для представления на экране.
Аудиоданные с выхода аудиодекодера 524, преобразованные затем в аналоговый сигнал посредством цифроаналогового преобразователя 534, также передают монитору 560. Этот монитор 560 выводит аудиосигнал через встроенный громкоговоритель.
Устройство 533 записи/воспроизведения включает жесткий магнитный диск в качестве носителя записи, на котором записывают видеоданные, аудиоданные и другую подобную информацию.
Блок 533 записи/воспроизведения кодирует с использованием кодирующего устройства 551, например, аудиоданные, поступающие от аудиодекодера 524, с применением алгоритма MPEG. Кроме того, блок 533 записи/воспроизведения кодирует с использованием кодирующего устройства 551 видеоданные, поступающие от видеокодирующего устройства 541 из состава конвертора 530 дисплея, с применением алгоритма MPEG. Блок 533 записи/воспроизведения объединяет результат кодирования аудиоданных и результат кодирования видеоданных посредством мультиплексора. Блок 533 записи/воспроизведения выполняет канальное кодирование полученных сложных данных, усиливает их и записывает эти данные на жесткий магнитный диск посредством записывающей головки.
Блок 533 записи/воспроизведения воспроизводит данные, записанные на жестком магнитном диске, посредством головки воспроизведения, усиливает эти данные и разделяет их на аудиоданные и видеоданные с применением демультиплексора. Далее блок 533 записи/воспроизведения декодирует аудиоданные и видеоданные с использованием декодера 552 в соответствии с алгоритмом MPEG. Этот блок 533 записи/воспроизведения осуществляет цифроаналоговое преобразование декодированных аудиоданных и передает результат громкоговорителю монитора 560. Кроме того, блок 533 записи/воспроизведения осуществляет цифроаналоговое преобразование декодированных видеоданных и передает результат для представления на дисплее монитора 560.
Блок 526 управления устройством записи считывает самые последние данные электронной программы передач (EPG) из памяти 527 данных EPG на основе команд пользователя, полученных через приемник 521 и указанных инфракрасным сигналом от пульта дистанционного управления, и передает данные EPG блоку 531 управления экранным меню (OSD). Блок 531 управления экранным меню генерирует данные, соответствующие входным данным электронной программы передач, и передает эти данные блоку 532 управления дисплеем. Блок 532 управления дисплеем передает видеоданные, поступившие на его вход от блока 531 управления экранным меню OSD, монитору 560 для представления на экране дисплея. Это позволяет представить электронную программу передач (EPG) на дисплее монитора 560.
Кроме того, устройство 500 записи на жестком магнитном диске может также получать разнообразные данные, такие как видеоданные, аудиоданные или данные электронной программы передач (EPG), поступающие от другого устройства через сеть связи, такую как Интернет.
Блок 526 управления устройством записи осуществляет управление блоком 535 связи для получения кодированных данных, таких как видеоданные, аудиоданные и данные EPG, передаваемые от другого устройства через сеть связи, и направления этих данных в блок 526 управления устройством записи. Блок 526 управления устройством записи передает, например, кодированные данные, соответствующие принятым им видеоданным и аудиоданным, в устройство 533 записи/воспроизведения для записи этих данных на жестком магнитном диске. В этот момент блок 526 управления устройством записи и устройство 533 записи/воспроизведения могут в случае необходимости выполнять такую операцию, как перекодирование.
Кроме того, блок 526 управления устройством записи декодирует кодированные данные, соответствующие поступившим к нему видеоданным и аудиоданным, и передает полученные видеоданные конвертору 530 дисплея. Конвертор 530 дисплея обрабатывает видеоданные, поступившие от блока 526 управления устройством записи, аналогично обработке видеоданных, приходящих от видеодекодера 525, и передает результат монитору 560 через блок 532 управления дисплеем для представления изображения на экране дисплея монитора.
Кроме того, наряду с представлением изображения на дисплее блок 526 управления устройством записи может передавать декодированные аудиоданные монитору 560 через цифроаналоговый преобразователь 534 и выводить выходной звуковой сигнал от громкоговорителя.
Далее, блок 526 управления устройством записи декодирует кодированные данные, соответствующие поступившим данным электронной программы передач (EPG), и передает декодированные данные EPG в память 527 данных EPG.
Устройство 500 записи на жестком магнитном диске, как описано выше, использует декодирующее устройство 1 в качестве каждого из декодеров, встроенных в видеодекодер 525, декодер 552 и блок 526 управления устройством записи. Поэтому, аналогично декодирующему устройству 1, декодеры, встроенные в видеодекодер 525, декодер 552 и блок 526 управления устройством записи, осуществляют декодирование с применением прогнозируемого изображения, генерируемого посредством прогнозирования с фильтрацией. Таким образом, декодированное изображение высокой четкости может быть получено более эффективно с использованием корреляции изображений во времени.
Поэтому устройство 500 записи на жестком магнитном диске может генерировать прогнозируемое изображение с высокой точностью без увеличения процессорной нагрузки. В результате этого, устройство 500 записи на жестком магнитном диске может получать декодированное изображение с повышенной четкостью на основе, например, кодированных' видеоданных, принимаемых посредством тюнера, кодированных видеоданных, считываемых с жесткого магнитного диска в блоке 533 записи/воспроизведения, или кодированных видеоданных, принимаемых через сеть связи, и представлять полученное изображение на экране монитора 560.
Кроме того, устройство 500 записи на жестком магнитном диске использует кодирующее устройство 101 в качестве кодирующего устройства 551. Поэтому, аналогично случаю кодирующего устройства 101 это кодирующее устройство 551 осуществляет кодирование с использованием прогнозируемого изображения, генерируемого посредством прогнозирования с фильтрацией, включающего большое число высокочастотных составляющих и обладающего небольшой разностью относительно оригинального изображения. Таким образом, можно уменьшить объем кода, назначаемого остаточной погрешности, и повысить эффективность кодирования.
Следовательно, такое устройство 500 записи на жестком магнитном диске способно повысить эффективность кодирования, например, при получении кодированных данных для записи на жестком магнитном диске без увеличения сложности обработки. В результате, устройство 500 записи на жестком магнитном диске может эффективно использовать площадь жесткого магнитного диска для записи информации.
Отметим, что хотя предшествующее описание было дано в контексте устройства 500 записи на жестком магнитном диске, которое записывает видеоданные и аудиоданные на этом жестком магнитном диске, безусловно, можно использовать носитель записи любого типа. Например, даже устройство записи, использующее носитель записи, отличный от жесткого магнитного диска, такой как флэш-память, оптический диск или магнитная лента, способно также использовать декодирующее устройство 1 и кодирующее устройство 101 способом, аналогичным случаю устройства 500 записи на жестком магнитном диске, описанного выше.
Фиг.27 представляет блок-схему, иллюстрирующую пример конфигурации основной части видеокамеры, использующей декодирующее устройство и кодирующее устройство, в которых применено настоящее изобретение.
Видеокамера 600, показанная на фиг.27, считывает изображение объекта и представляет это изображение объекта на жидкокристаллическом дисплее 616 или записывает это изображение на носителе 633 записи в качестве данных изображения.
Блок 611 объектива направляет световой поток (несущий изображение объекта) на формирователь 612 сигналов изображения ПЗС/КМОП-типа (CCD/CMOS). Этот ПЗС/КМОП-формирователь 612 представляет собой формирователь сигналов изображения, использующий ПЗС или КМОП-структуру, преобразующий интенсивность принимаемого света в электрический сигнал и передающий этот сигнал в блок 613 обработки сигнала видеокамеры.
Блок 613 обработки сигнала видеокамеры преобразует электрический сигнал, приходящий от ПЗС/КМОП-формирователя 612, в цветоразностные сигналы Y, Cr и Cb и передает эти сигналы в процессор 614 сигнала изображения. Этот процессор 614 сигнала изображения по командам контроллера 621 осуществляет некоторую обработку изображения в соответствии с сигналом изображения, поступающим от блока 613 обработки сигнала видеокамеры, или кодирует посредством кодирующего устройства 641, этот сигнал изображения с применением, например, алгоритма MPEG. Процессор 614 сигнала изображения передает кодированные данные, генерируемые путем кодирования сигнала изображения, в декодер 615. Далее, процессор 614 сигнала изображения получает данные дисплея, генерируемые экранным меню (OSD) 620, и передает эти данные в декодер 615.
При выполнении описанной выше процедуры блок 613 обработки сигнала видеокамеры использует динамическое запоминающее устройство 618 с произвольной выборкой (динамическое ОЗУ), соединенное с шиной 617, и записывает данные изображения, данные кодированного изображения или аналогичные данные для сохранения в это динамическом ОЗУ 618 по мере необходимости.
Декодер 615 осуществляет декодирование кодированных данных, поступающих от процессора 614 сигнала изображения, и передает полученные данные изображения (данные декодированного изображения) жидкокристаллическому дисплею 616. Кроме того, декодер 615 передает данные дисплея, приходящие от процессора 614 сигнала изображения, жидкокристаллическому дисплею 616. Жидкокристаллический дисплей 616 накладывает на изображение, представленное данными декодированного изображения, поступающими от декодера 615, изображение данных дисплея, по мере необходимости, и представляет результирующее составное изображение на дисплее.
По командам контроллера 621 блок 620 экранного меню передает данные дисплея, такие как экран меню, образованный знаками, буквами или цифрами, и иконку в процессор 614 сигнала изображения через шину 617.
Контроллер 621 выполняет различные процедуры на основе сигнала, указывающего содержание команды, поданной пользователем с использованием операционного блока 622, а также управляет процессором 614 сигнала изображения, динамическим ЗУПВ (DRAM) 618, внешним интерфейсом 619, блоком 620 экранного меню, приводом 623 носителя записи и т.п.через шину 617. Флэш-ПЗУ (FLASH ROM) 624 сохраняет программы, данные и подобную информацию, необходимую контроллеру 621 для выполнения различных процедур.
Например, контроллер 621 может кодировать данные изображения, записанные в динамическом ОЗУ 618, или декодировать кодированные данные, записанные в этом динамическом ОЗУ 618, «от имени» процессора 614 сигнала изображения или декодера 615. В этот момент контроллер 621 может осуществлять процедуру кодирования или декодирования с использованием алгоритма, аналогичного алгоритму кодирования или декодирования в процессоре 614 сигнала изображения или в декодере 615, либо может выполнять процедуру кодирования или декодирования с использованием алгоритма, не поддерживаемого процессором 614 сигнала изображения или декодером 615.
Кроме того, когда, например, операционный блок 622 подал команду начать распечатку изображения, контроллер 621 считывает данные изображения из динамического ОЗУ 618 и передает эти данные принтеру 634, соединенному с внешним интерфейсом 619, через шину 617 для печати изображения.
Далее, когда, например, операционный блок 622 подал команду записать изображение, контроллер 621 считывает кодированные данные из динамического ОЗУ 618 и передает эти данные на носитель 633 записи, установленный в приводе 623 носителя, через шину 617 для сохранения этих данных.
Носитель 633 записи может представлять собой, например, какой-либо считываемый и перезаписываемый сменный носитель записи, такой как магнитный диск, магнитооптический диск, оптический диск или полупроводниковая память. В качестве носителя 633 записи можно также, безусловно, использовать сменный носитель записи любого типа, который может быть устройством на магнитной ленте, диском или картой памяти. Естественно, можно также воспользоваться бесконтактной электронной карточкой или аналогичным устройством.
Кроме того, привод 623 носителя записи и носитель 633 записи могут быть выполнены заодно в виде, например, непортативного носителя записи, такого как накопитель информации на жестком магнитном диске или твердотельный SSD-накопитель.
Внешний интерфейс 619 содержит, например, USB-терминал ввода/вывода или аналогичный терминал, и соединяется с принтером 634, если нужно распечатать изображение. Кроме того, с внешним интерфейсом 619 в случае необходимости соединяют привод 631, на котором также по мере необходимости устанавливают сменный носитель 632 записи, такой как магнитный диск, оптический диск или магнитооптический диск, так что считываемую с носителя компьютерную программу инсталлируют по мере необходимости в памяти флэш-ПЗУ 624.
Далее, внешний интерфейс 619 включает сетевой интерфейс, соединенный с какой-либо сетью связи, такой как локальная сеть связи (LAN) или Интернет. Контроллер 621 может считывать кодированные данных из динамического ОЗУ 618 в соответствии с командами от, например, операционного блока 622 и передавать эти данные другому устройству, соединенному через сеть связи с внешним интерфейсом 619. Кроме того, контроллер 621 может принимать через внешний интерфейс 619 кодированные данные или данные изображения, передаваемые от другого устройства через сеть связи, и сохранять их в динамическом ОЗУ 618 или направлять в процессор 614 сигнала изображения.
Камера 600, как описано выше, использует декодирующее устройство 1 в качестве декодера 615. Поэтому, аналогично случаю декодирующего устройства 1, декодер 615 осуществляет декодирование с использованием прогнозируемого изображения, генерируемого посредством прогнозирования с фильтрацией. Таким образом, можно получать декодированное изображение высокой четкости за счет более эффективного использования корреляции изображений во времени.
Вследствие этого видеокамера 600 может генерировать прогнозируемое изображение с высокой точностью без увеличения процессорной нагрузки. В результате, видеокамера 600 может получать декодированное изображение повышенной четкости из, например, данных изображения, генерируемых с использованием ПЗС/КМОП-формирователя 612, кодированных видеоданных, считываемых из динамического ОЗУ618 или с носителя 633 записи, или кодированных видеоданных, принимаемых через сеть связи, и может представлять это изображение на жидкокристаллическом дисплее 616.
Кроме того, видеокамера 600 использует кодирующее устройство 101 в качестве кодирующего устройства 641. Поэтому, аналогично случаю кодирующего устройства 101, указанное кодирующее устройство 641 осуществляет кодирование с использованием прогнозируемого изображения, генерируемого посредством прогнозирования с фильтрацией, включающего большое число высокочастотных составляющих и имеющего небольшую разность относительно оригинального изображения. Таким образом, объем кода, назначаемого остаточной погрешности, может быть уменьшен, а эффективность кодирования может быть увеличена.
Таким образом, видеокамера 600 может повысить эффективность кодирования, например, кодированных данных для записи на жестком магнитном диске без увеличения сложности обработки. В результате, видеокамера 600 способна более эффективно использовать «пространство» записи в динамическом ОЗУ 618 или на носителе 633 записи.
Отметим, что способ декодирования данных, используемый в декодирующем устройстве 1, может быть применен в процессе декодирования, выполняемого контроллером 621. Аналогично способ кодирования данных, используемый в кодирующем устройстве 101, может быть применен в процессе кодирования, выполняемого контроллером 621.
Кроме того, данные изображения, считываемые видеокамерой 600, могут быть данными движущегося или неподвижного изображения.
Безусловно, декодирующее устройство 1 и кодирующее устройство 101 могут быть также применены в аппаратуре или системе, отличных от аппаратуры, описанной выше.
Перечень позиционных обозначений
1 - декодирующее устройство, 21 - схема прогнозирования/компенсации движения, 41 - схема определения режима прогнозирования, 42 - схема однонаправленного прогнозирования, 43 - схема двунаправленного прогнозирования, 44 - схема прогнозирования, 45 - схема фильтрации, 51 - схемы вычисления разности, 52 - фильтр нижних частот, 53 - схема регулировки коэффициента передачи, 54 - фильтр верхних частот, 55 - схема регулировки коэффициента передачи, 56 - сумматор, 57 - сумматор.