способ определения качества видео

Формула изобретения

1. Компьютерно-реализуемый способ определения качества мультимедиа, содержащий этапы, на которых:

принимают мультимедийную последовательность, переданную по сети,

извлекают входные параметры, полученные из параметров передачи и/или мультимедийного проигрывателя, имеющих отношение к принятой последовательности,

вычисляют значение качества на основе модели воспринимаемого конечным пользователем качества, соответствующей по меньшей мере одному из извлеченных входных параметров, и

выдают значение качества в виде оценки качества принятой последовательности.

2. Способ по п.1, в котором входные параметры содержат параметры, имеющие отношение к проигрывателю потокового видео, и/или параметры, имеющие отношение к транспортировке данных.

3. Способ по п.1 или 2, в котором входные параметры содержат параметры, соответствующие кодеку и битрейту при кодировании.

4. Способ по п.3, в котором для вычисления значения качества используются только один или многие из следующих дополнительных параметров: потери пакетов, длительности начальной буферизации и длительности повторной буферизации внутри.

5. Способ по п.1 или 2, в котором вычисленное значение качества соответствует значению MOS (усредненной оценки разборчивости).

6. Способ по п.5, в котором вычисляемое значение качества рассчитывают с использованием функции частоты потери пакетов, данных повторной буферизации и начальной буферизации.

7. Способ по п.1 или 2, в котором значение качества вычисляют для одного или многих из общего качества, качества видео или качества аудио.

8. Способ по п.1 или 2, в котором мультимедийная последовательность принимается через радиосеть.

9. Способ по п.1 или 2, в котором один или несколько из входных параметров выводятся или оцениваются по другим параметрам.

10. Устройство для определения качества мультимедиа, содержащее:

средство для приема мультимедийной последовательности, переданной по сети,

средство для извлечения входных параметров, полученных из параметров передачи и/или мультимедийного проигрывателя, имеющих отношение к принятой последовательности,

средство для вычисления значения качества на основе модели воспринимаемого конечным пользователем качества, соответствующей по меньшей мере одному из извлеченных входных параметров, и

средство для выдачи значения качества в виде оценки качества принятой последовательности.

11. Устройство по п.10, в котором входные параметры содержат параметры, имеющие отношение к проигрывателю потокового видео, и/или параметры, имеющие отношение к транспортировке данных.

12. Устройство по п.10 или 11, в котором входные параметры содержат параметры, соответствующие кодеку и битрейту при кодировании.

13. Устройство по п.12, выполненное с возможностью использования для вычисления значения качества только одного или многих из следующих дополнительных параметров: потери пакетов, длительности начальной буферизации и длительности повторной буферизации внутри.

14. Устройство по п.10 или 11, в котором вычисленное значение качества соответствует значению MOS.

15. Устройство по п.14, выполненное с возможностью расчета вычисляемого значения качества с использованием функции частоты потери пакетов, данных повторной буферизации и начальной буферизации.

16. Устройство по п.10 или 11, выполненное с возможностью вычисления значения качества для одного или многих из общего качества, качества видео или качества аудио.

17. Устройство по п.10 или 11, являющееся портативным и приспособленным для приема мультимедийной последовательности через радиосеть.

18. Устройство по п.10 или 11, в котором один или несколько из входных параметров выводятся или оцениваются по другим параметрам.

Описание изобретения к патенту

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу и устройству для определения качества мультимедийной последовательности.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Новые высокопроизводительные радиосети вымостили путь для новых мобильных услуг и приложений. Например, многие из новых услуг нацеливаются на улучшение впечатления от телефонного разговора; другие услуги предусматривают передачу видеосигналов, таких как видео по запросу, и другие подобные мультимедийные услуги. Все такие новые услуги, включающие в себя прием любого типа мультимедиа в приемнике, требуют мониторинга воспринимаемого принятого качества. Это должно гарантировать, что пользователи испытывают хорошее качество и получают услуги, которых они ожидают. Другими словами, мультимедийные услуги, такие как качество потокового видео, воспринимаемое конечным пользователем, являются одной из важных мерок качества обслуживания для операторов всех типов сетей. Возможные проблемы обслуживания должны обнаруживаться и устраняться.

Субъективно воспринимаемое качество видео может оцениваться с помощью модели субъективного качества видео. Значением качества видео может быть значение MOS (усредненная оценка разборчивости) или другой пригодный показатель. MOS является средним значением классов из субъективного испытания, где испытуемые лица классифицируют мультимедийный клип по шкале, находящейся в диапазоне от 1 для наихудшего качества до 5 для наилучшего качества.

Сегодня существует некоторое количество коммерческих инструментов для измерения и оценки качества мультимедиа. Однако продукты для определения качества видео на рынке сегодня основывают свою оценку качества видео, главным образом, на анализе видеоизображений. Подход, основанный на анализе видеоизображений, накладывает высокое требование на вычислительную емкость используемого инструмента, так как алгоритмы, используемые при таком анализе, сами по себе являются весьма вычислительно требовательными. Это, в свою очередь, затрудняет выработку выходных данных в реальном времени.

Еще одна проблема, встречаемая с существующими решениями, состоит в том, что они чувствительны к изменению в контексте в видеосигнале, так как они типично основывают свои выходные данные на анализе между разными кадрами видеопоследовательности в случае оценки качества видео.

Другой проблемой с существующими решениями, в которых исходное видео сравнивается с принятым видео (так называемый полно-эталонный метод), является необходимость в синхронизации между следующими друг за другом кадрами для того, чтобы формировать поддающийся интерпретации выходной результат.

Поэтому есть потребность в способе, который требует меньшей вычислительной мощности и который может быть реализован на устройстве, которое является недорогим для производства и легким в управлении.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Цель настоящего изобретения состоит в том, чтобы преодолеть по меньшей мере некоторые из проблем, связанных с существующими способами и инструментами для определения качества мультимедийной последовательности.

Эта цель и другие достигаются посредством способа и устройства, использующих алгоритм, применяющий данные измерений, полученные из входных параметров, имеющих отношение к проигрывателю потокового видео, и/или параметров, имеющих отношение к транспортировке информации. Мультимедийная последовательность может передаваться через любой тип сети, например радиосеть или выделенную сеть. Упомянутые данные используются в качестве входных данных в модели, предназначенной для формирования значения, соответствующего качеству мультимедийной последовательности, например, такого как оценка MOS. Способ в соответствии с изобретением преимущественно может быть реализован компьютерным программным обеспечением в компьютерном программном продукте.

Такой подход значительно быстрее, чем способы, основанные на анализе видеоизображений, так как требуемые расчеты гораздо проще. Типично, они не требуют никакого преобразования в частотную область и тому подобного.

Более того, точная синхронизация, необходимая для решений, требующих эталона, как имеет место для решений, основанных на полно-эталонном анализе видеоизображений, не обязательна, поскольку решение, основанное на параметрах сети, не требует эталона. К тому же рассчитанные выходные данные, например, значение MOS, не являются находящимися под влиянием, если контент переключается, как имело бы место в модели, использующей анализ изображений.

ПЕРЕЧЕНЬ ЧЕРТЕЖЕЙ

Настоящее изобретение далее будет описано более подробно, в качестве неограничивающих примеров и со ссылкой на прилагаемые чертежи, на которых:

- фиг.1 - общий вид системы для потокового видео

- фиг.2 - более подробный вид некоторых частей системы, показанной на фиг.1, и

- фиг.3 - блок-схема последовательности операций, иллюстрирующая разные этапы, выполняемые в устройстве для определения воспринимаемого качества мультимедиа.

ПОДРОБНОЕ ОПИСАНИЕ

На фиг.1 изображен общий вид системы для измерения принимаемого качества мультимедийной последовательности в соответствии с настоящим изобретением. Мультимедийная последовательность в следующем примере является видеоклипом с ассоциированным аудио. Система содержит сервер 101 потокового видео. Сервер 101 потокового видео является источником видеопоследовательности с ассоциированным аудио, передаваемой через сеть 103 в качестве видеосигнала. Сеть 103, например, может быть радиосетью или любой другой сетью.

Видеопоследовательность, передаваемая через сеть 103, принимается мобильной испытательной системой 105. Мобильная испытательная система 105 типично содержит проигрыватель 107 потокового видео и устройство 109, включающее в себя модель качества видео. Устройство 109 использует данные, полученные из проигрывателя 107 потокового видео и с транспортного уровня, для того чтобы сформировать значение, которое является оценкой текущего воспринимаемого конечным пользователем качества видео, аудио или общего качества.

На фиг.2, мобильная испытательная система 105 показана более подробно. Испытательная система 105 предназначена по приему видеопоследовательности для оценки воспринимаемого качества видео для видео вычислительно рациональным образом. Оценка делается в реальном времени посредством накопления данных измерения из проигрывателя потокового видео (потокового видео) и/или из транспортировки данных, в частности, уровня IP (межсетевого протокола) и выше. Упомянутые данные вводятся и комбинируются в модели оценки качества видео, и рассчитывается значение качества видео (например, оценка MOS).

Рассчитанные выходные данные (значение MOS) являются оценкой воспринимаемого конечным пользователем качества видео и аудио. Рассчитанное значение MOS подразумевается более близким к результату субъективного испытания, где испытуемые лица видят и классифицируют видеоклип. Общее качество потоковой передачи (значение MOS) выражается в виде функции входных переменных. Обе, линейная и нелинейная, модели могут использоваться для оценки значения MOS. К тому же может применяться комбинация линейной и нелинейной функций.

Затем строится модель для предсказания одного или многих из:

- общего качества

- качества видео

- качества аудио

Наверно, наиболее распространенными проблемами качества видео для мобильного потокового видео являются высокое сжатие (вследствие недостаточной полосы пропускания по сети), ухудшение качества видео вследствие потери пакетов, длительной начальной буферизации и повторной буферизации во время видео. В предпочтительном варианте осуществления модель учитывает все эти проблемы качества, а выходные данные, например, представленные в виде значения MOS, в таком случае отражают воспринимаемое качество видео.

Входные данные в модель включают в себя некоторое количество этих измерительных параметров. Например, могут использоваться один или многие из следующих параметров:

аудиокодек

видеокодек

общий расход битов (битрейт) при кодировании

битрейт для видео

битрейт для аудио

частота смены кадров видео

частота потери пакетов

длительность начальной буферизации (в виде абсолютного или относительного процента времени видеоклипа)

количество событий повторной буферизации

частота повторной буферизации (подобная количеству событий повторной буферизации)

начальный момент времени для события повторной буферизации (в виде абсолютного времени или относительного процента общего времени клипа)

длительность повторной буферизации (в виде абсолютного времени или относительного процента общего времени клипа)

пропускная способность

искажение IP-пакета

размер IP-пакета

сигнализация RTP/RTCP

размер буфера клиента видео

В разных сценариях разные параметры могут оказываться более важными, чем другие, при определении значения качества видео. Чтобы привести пример, в некоторых приложениях доказано, что параметры, соответствующие потере пакетов, длительности начальной буферизации и длительности повторной буферизации, в комбинации с информацией касательно кодека и общего битрейта при кодировании должны давать хорошую оценку значения качества видео. В таком сценарии всего лишь небольшое подмножество параметров необходимо для того, чтобы формировать хорошую оценку текущего значения качества. Это полезно, так как модель, в таком случае, может делаться проще, и отсюда реализация в устройстве для формирования значения качества может быть более быстрой и менее дорогостоящей.

Если один или многие из входных параметров, существенных для рассматриваемой ситуации, не доступны, другие параметры могут использоваться для расчета отсутствующих. Таким образом, например, если «общий битрейт при кодировании» не имеется в наличии, «пропускная способность», «размер IP-пакета» и «размер буфера клиента» могут использоваться для оценки общего битрейта при кодировании. Входные параметры буферизации, такие как «количество повторных буферизаций», «частота повторной буферизации», «начальный момент времени повторной буферизации», «длительность начальной буферизации» и «длительность повторной буферизации», могут оцениваться таким же образом на основании общего битрейта при кодировании, пропускной способности и знания о размере буфера мультимедийного проигрывателя. Другие соотношения могут использоваться для оценки других важных параметров. Результат комбинации многих параметров может использоваться для оценки качества. Например, может использоваться результат комбинации одновременных потери пакетов и повторной буферизации. Качество не обязательно является простым сложением ухудшения качества из-за потери пакетов и повторной буферизации. Фактически, в некоторых приложениях соотношение, по-видимому, является более сложным и требует более сложной модели для того, чтобы правильно моделировать воспринимаемое качество видео.

Модель качества видео настраивается на основании субъективных испытаний, где испытуемые лица просмотрели и классифицировали видеоклипы с длинной и короткой начальной буферизацией и длинной и короткой промежуточной буферизацией пакета различными частотами потерь и потенциально другими результатами ухудшения качества. К тому же количество промежуточных буферизаций может изменяться для даже еще лучшей настройки модели. Другие способы для настройки модели включают в себя настройку с помощью других объективных моделей и т. д.

На фиг.3 показаны разные этапы, выполняемые в устройстве моделирования качества видео, как описано выше. Таким образом, сначала, на этапе 301, проигрыватель видео принимает видеосигнал, представляющий видеопоследовательность. Видеопоследовательность может быть или может не быть ассоциирована с аудио. Затем, на этапе 303, некоторое количество данных для разных параметров, относящихся к принимаемому видеосигналу и/или проигрывателю видео, передается в устройство моделирования качества видео. Данные типично относятся к одному или многим из параметров, перечисленных выше в сочетании с фиг.2, например видеокодеку, аудиокодеку, общему битрейту при кодировании, битрейту для видео, битрейту для аудио, частоте смены кадров видео, частоте потери пакетов, начальному моменту времени повторной буферизации (в качестве абсолютного времени или относительного процента полного времени клипа), длительности начальной буферизации (в качестве абсолютного или относительного процента времени видеоклипа), количеству событий повторной буферизации, частоте повторной буферизации (подобной количеству событий повторной буферизации), длительности повторной буферизации (в качестве абсолютного времени или относительного процента полного времени клипа), пропускной способности, искажению IP-пакета, размеру IP-пакета, сигнализации RTP/RTCP, размеру буфера клиента видео или другим параметрам, уместным для конкретной ситуации в качестве ситуации, которая может быть.

Вслед за тем, на этапе 305, рассчитывается значение, указывающее на качество принятого видеосигнала. В зависимости от того, что устройство предназначено формировать в виде выходных данных, значением могут быть все или подмножество из общего качества, качества видео и качества аудио. Расчеты, выполняемые на этапе 305, могут отличаться для разных приложений и сценариев и будут более тщательно описаны ниже. В заключение, на этапе 307, устройство выводит результат. Например, значение качества видео может представляться в виде числового значения, такого как MOS. Это значение затем используется в качестве входных данных для оптимизации сети или подобных задач.

В соответствии с одним из предпочтительных вариантов осуществления основная функция модели может быть описана с помощью:

TOT_MOS_pred = func(Qual_encoding, Qual_buff , Qual_pl)

Базовое качество (качество кодирования, Qual_encoding) может быть описано функцией:

y = c₀-c ₁e^{- x}

где c₀, c₁ и - константы. Константы имеют разные значения для разных кодеков.

Qual_buff и Qual _pl уменьшают выходное значение MOS на основании времени начальной буферизации, процента повторной буферизации, частоты повторной буферизации и потери пакетов соответственно.

Эффект потери пакетов в течение периода регистрации с потерей пакетов может быть выражен посредством:

Qual _PL = const * (Qual_encoding - 1) · + 1,

где коэффициент определен как

где PLR_u и PLR _l - верхний и нижний пределы частоты потери пакетов соответственно, а PLR_mean - средняя частота потери пакетов текущего окна регистрации; отсюда 0 1

Для потери пакетов нижний и верхний предел может определяться на основании субъективных испытаний. Частота потери пакетов (PLR) более низкая, чем нижний предел, в таком случае считается невидимой и отсюда не будет оказывать влияние на значение MOS. На другом конце шкалы PLR, равная или превышающая верхний предел, по умолчанию, устанавливается, чтобы быть очень плохим (наихудшим) качеством. Таким образом, следующие ограничения накладываются на мгновенные значения PLR:

PLR_i= min(PlR_j, PLR_u), и

PLR_i =max(PLR_j,PLR_l)

Добавление эффекта повторной буферизации и начальной буферизации к качеству, затем, например, выполняется посредством:

TOT_MOS_pred=Qual _PL -Qual_buff

а Qual_buff рассчитывается согласно:

Qual_buff = C₀ + C₁ · INIT_PERC + C₂ · BUF_PERC + C₃ · BUF_FRQ, и

где переменными являются:

BUF_PERC: время повторной буферизации/(время воспроизведения + время повторной буферизации + начальная буферизация)

INIT_PERC: время начальной буферизации/(время воспроизведения + время повторной буферизации + начальная буферизация)

BUF_FRQ: количество событий повторной буферизации в минуту.

Может быть, что влияние частоты потери пакетов, повторной буферизации и начальной буферизации лучше моделируется в качестве функции:

TOT_MOS_pred = f(Qual_PL , Qual_buff),

предпочтительнее, чем чисто линейное влияние.

Чтобы справляться с крупными потерями пакетов и влиянием на воспринимаемое качество, высокие частоты потери пакетов предпочтительно взвешиваются сильнее, чем более низкие частоты. Чтобы справляться с длительными временами повторной буферизации, выходная оценка MOS может усекаться для процентов очень длительных повторных буферизаций. Например, 67% или более высокий процент повторной буферизации мог бы моделироваться, чтобы всегда давать в результате самое низкое качество видео, например, MOS= 1.

С использованием изобретения комбинация входных параметров может использоваться для оценки полного качества видео. Одно из преимуществ изобретения состоит в том, что только небольшое подмножество параметров для видеопоследовательности требуется для того, чтобы формировать значение качества видео. Например, комбинация прерываний (повторной буферизации) и потери пакетов может использоваться в одиночку для оценки качества в дополнение к кодеку и битрейту.

Изобретение является вычислительно эффективным вследствие того обстоятельства, что видеоизображения не анализируются. Входные параметры немногочисленны; по-прежнему может получаться хорошая оценка качества видео. Изобретение также принимает во внимание наиболее важные факторы ухудшения качества видео: качество кодирования и ухудшение вследствие ошибок транспортировки. Оценка качества кодирования использует информацию о кодеке. Ошибками транспортировки по существу является низкая пропускная способность или потеря пакетов. Низкая пропускная способность могла вызывать длительную начальную буферизацию и события повторной буферизации. Потери пакетов будут вызывать искажения изображений и/или звука и ухудшение качества вследствие временных проблем в видео.

Изобретение, как описано в материалах настоящей заявки, вследствие того обстоятельства, что оно является вычислительно эффективным, способно вырабатывать значение качества видео в реальном времени. Отсюда оно очень хорошо приспособлено для ситуаций испытания, где оценка должна производиться в момент измерения.

В дополнение, с использованием изобретения, как описано в материалах настоящей заявки, нет необходимости в точной синхронизации, как имеет место для решений на основании анализа видеоизображений, поскольку решение, основанное на параметрах сети, не требует эталона. К тому же рассчитанные выходные данные, например, значение MOS, не являются находящимися под влиянием, если контент переключается, как имело бы место в модели, использующей анализ изображений.