способ передачи данных в системе связи

Формула изобретения

1. Способ обработки сигнала, принимаемого узлом в сети, содержащий этапы, на которых:

принимают сигнал на узле;

определяют характеристики первой части сигнала;

определяют характеристики второй части сигнала, которая следует за первой частью сигнала;

определяют воздействие на сигнал, вызываемое применением действия к первой части сигнала, на основе характеристик первой части сигнала;

определяют воздействие на сигнал, вызываемое неприменением действия к первой части сигнала, на основе характеристик второй части сигнала;

применяют действие к первой части сигнала, если определено, что воздействие на сигнал, вызванное применением действия к первой части сигнала, менее вредно, по меньшей мере, для одного измерения качества сигнала, по сравнению с воздействием на сигнал, вызываемым неприменением действия к первой части сигнала.

2. Способ по п.1, в котором этап определения характеристик второй части сигнала содержит этап, на котором предсказывают характеристики второй части сигнала на основе характеристик первой части сигнала.

3. Способ по п.1, в котором характеристики второй части сигнала определяют из второй части сигнала, принимаемой терминалом.

4. Способ по п.1, в котором сигнал содержит множество кадров данных.

5. Способ по п.1, в котором первая часть сигнала содержит, по меньшей мере, один из множества кадров данных.

6. Способ по п.1, в котором вторая часть сигнала содержит, по меньшей мере, один из множества кадров данных.

7. Способ по любому из пп.4-6, в котором действие касается настройки задержки между приемом, по меньшей мере, одного из упомянутого множества кадров данных на узле, и выводом, по меньшей мере, одного из упомянутого множества кадров данных из узла.

8. Способ по п.7, в котором действие содержит увеличение задержки посредством вставки кадра данных в сигнал.

9. Способ по п.7, в котором действие содержит увеличение задержки посредством растяжения длины, по меньшей мере, одного кадра данных в сигнале.

10. Способ по п.7, в котором действие содержит сокращение задержки посредством пропуска кадра данных в сигнале.

11. Способ по п.7, в котором действие содержит сокращение задержки посредством сжатия длины, по меньшей мере, одного кадра данных в сигнале.

12. Способ по п.1, в котором характеристики первой части сигнала касаются аудиоинформации в первой части сигнала.

13. Способ по п.1, в котором характеристики второй части сигнала касаются аудиоинформации во второй части сигнала.

14. Способ по любому из пп.4-6 и 8-11, в котором характеристики первой части сигнала касаются характеристик передачи, по меньшей мере, одного из множества кадров данных первой части сигнала.

15. Способ по п.14, в котором характеристики второй части сигнала касаются характеристик передачи второй части сигнала.

16. Способ по п.15, в котором характеристики второй части сигнала, которые касаются характеристик передачи, содержат оценку, касающуюся времени поступления, по меньшей мере, одного из множества кадров данных второй части сигнала, которая еще не поступила на узел.

17. Способ по п.1, в котором этап определения воздействия на сигнал, вызываемого неприменением действия к первой части сигнала, содержит этап, на котором определяют воздействие на сигнал, вызываемое посредством применения действия ко второй части сигнала.

18. Способ по п.17, в котором воздействие применения действия ко второй части сигнала определяется из аудиоинформации во второй части сигнала.

19. Способ по п.15 или 16, в котором этап определения воздействия на сигнал, вызываемого неприменением действия к первой части сигнала, определяют из характеристик передачи второй части сигнала.

20. Способ по п.1, в котором воздействие на сигнал касается искажения сигнала.

21. Способ по п.1, в котором первая часть сигнала содержит, по меньшей мере, часть сигнала, к которой применено действие.

22. Способ по п.21, в котором первая часть сигнала дополнительно содержит часть сигнала, принимаемую перед частью сигнала, к которой применено действие.

23. Способ по п.21 или 22, в котором вторая часть сигнала содержит часть сигнала, которая следует за частью сигнала, к которой применено действие.

24. Способ по п.1, в котором этап определения воздействия на сигнал, вызываемого неприменением действия к первой части сигнала, содержит этап, на котором определяют воздействие от применения, по меньшей мере, одного из множества альтернативных действий к сигналу.

25. Способ по п.1, в котором способ дополнительно содержит этапы, на которых:

назначают первый набор значений, пропорциональных измерению искажения сигнала, вызванного применением ряда возможных действий к сигналу, на основе характеристик второй части сигнала; и

назначают второй набор значений, пропорциональных измерению искажения сигнала, вызванного применением набора возможных действий к сигналу, на основе характеристик первой части сигнала;

причем набор возможных действий содержит действие и, по меньшей мере, одно альтернативное действие.

26. Способ по п.25, в котором способ дополнительно содержит этапы, на которых:

комбинируют первый набор значений со вторым набором значений для каждого возможного действия из набора возможных действий для определения ряда комбинированных значений,

причем каждое комбинированное значение из набора комбинированных значений соответствует одному из возможных действий;

определяют наименьшее комбинированное значение из набора комбинированных значений;

определяют оптимальное действие из действия, соответствующего самому меньшему комбинированному значению; и

применяют оптимальное действие к сигналу.

27. Узел для обработки принимаемого из сети сигнала, содержащий:

средство для приема сигнала;

средство для определения характеристик первой части сигнала,

средство для определения характеристик второй части сигнала, которая следует за первой частью сигнала;

средство для определения воздействия на сигнал, вызываемого применением действия к первой части сигнала, на основе характеристик первой части сигнала;

средство для определения воздействия на сигнал, вызываемого неприменением действия к первой части сигнала, на основе характеристик второй части сигнала;

средство для применения действия к первой части сигнала, если определено, что воздействие на сигнал, вызываемое посредством применения действия к первой части сигнала, менее вредно, по меньшей мере, для одного измерения качества сигнала, по сравнению с воздействием на сигнал, вызываемым неприменением действия к первой части сигнала.

28. Узел, выполненный с возможностью обработки принимаемого из сети сигнала, содержащий:

приемник, выполненный с возможностью приема сигнала;

первый блок определения, выполненный с возможностью определения характеристик первой части сигнала;

второй блок определения, выполненный с возможностью определения характеристик второй части сигнала, которая следует за первой частью сигнала;

контроллер, выполненный с возможностью определения воздействия на сигнал, вызываемого применением действия к первой части сигнала, на основе характеристик первой части сигнала, для определения воздействия на сигнал, вызываемого неприменением действия к первой части сигнала, на основе характеристик второй части сигнала, и для применения действия к первой части сигнала, если определено, что воздействие на сигнал, вызываемое применением действия к первой части сигнала, менее вредно, по меньшей мере, для одного измерения качества сигнала, по сравнению с воздействием на сигнал, вызываемым неприменением действия к первой части сигнала.

29. Узел по п.28, в котором узел является пользовательским терминалом.

30. Узел по п.28, в котором узел является сетевым узлом.

31. Машиночитаемый носитель, содержащий сохраненный на нем исполняемый компьютером программный код, причем упомянутый код, при исполнении процессором, побуждает процессор выполнять способ обработки сигнала, принимаемого узлом в сети, по любому из пп.1-26.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к системам связи. Более конкретно настоящее изобретение относится к способу и устройству для обработки цифровых сигналов, в частности для пакетной передачи речевой информации в системе связи.

Уровень техники

В системе связи обеспечивается сеть связи, которая может соединить два терминала связи так, чтобы терминалы могли отправлять информацию друг другу при вызове или при другом событии связи. Информация может включать в себя речь, текст, изображения или видео.

Современные системы связи основываются на передаче цифровых сигналов. Аналоговая информация, такая как речь, вводится в аналого-цифровой преобразователь передатчика одного терминала и преобразовывается в цифровой сигнал. Затем цифровой сигнал кодируется и помещается в пакеты данных для передачи по каналу на приемник другого терминала.

Одним типом сети связи, подходящей для передачи пакетов данных, является сеть Интернет. Протоколы, которые используются для транспортировки речевых сигналов по сети IP (интернет-протокол), как правило, называются протоколами передачи речи по протоколу IP (VoIP). Протокол VoIP маршрутизирует сеансы речевой связи по сети Интернет или через любую другую сеть на базе протокола IP.

Пакет данных включает в себя заголовок и полезную нагрузку. Заголовок пакета данных содержит данные для передачи и обработки пакета данных. Эта информация может включать в себя идентификационный номер и адрес отправителя, который уникально идентифицирует пакет, контрольную сумму заголовка, используемую для обнаружения ошибок обработки, и адрес получателя. Полезная нагрузка пакета данных включает в себя информацию из цифрового сигнала, предназначенного для передачи. Эта информация может быть включена в полезную нагрузку в качестве кодированных кадров, таких как речевые кадры, причем каждый кадр представляет собой часть аналогового сигнала.

Ухудшения характеристик в канале, по которому посылается информация, влияют на информацию, принимаемую приемным терминалом. Ухудшения характеристик в канале могут привести к изменениям в последовательности пакетов, к задержке поступления некоторых пакетов на приемник, а также к потере других пакетов. Ухудшения характеристик могут быть вызваны дефектами канала, шумом и перегрузкой в канале. В конечном счете это приводит к снижению качества сигнального вывода посредством приемного терминала.

Для гарантии того, что данные, находящиеся в пакетах данных, могут непрерывно выводиться на терминал получателя, необходимо ввести задержку между приемом пакета данных и выводом данных в пакете, чтобы исключить случайные изменения в задержке между пакетами, поступающими на терминал.

Буфер флуктуаций используется в приемном терминале для ввода задержки между приемом пакетов данных из сети и выводом данных с терминала. Буфер флуктуаций временно сохраняет пакеты или кадры для исключения вариаций во времени поступления пакетов, при этом буфер флуктуаций может непрерывно предоставлять кадры для вывода на декодер.

Диспетчер буфера флуктуаций выполнен с возможностью постоянного управления количеством кадров в буфере флуктуаций. Диспетчер буфера флуктуаций может управлять количеством кадров в буфере флуктуаций и благодаря этому регулировать вводимую буфером флуктуаций задержку, посредством запроса того, чтобы декодер выполнил действие, которое будет влиять на время, в которое декодеру требуется следующий кадр из буфера флуктуаций.

Для задержки времени, в которое декодеру требуется следующий кадр, диспетчер буфера флуктуаций может быть выполнен с возможностью запроса того, чтобы декодер вставил копию последнего кадра или увеличил продолжительность кадра, например, посредством увеличения длины кадра с 20 миллисекунд до 30 миллисекунд. Напротив, для сокращения времени, в которое декодеру требуется следующий кадр, диспетчер буфера флуктуаций может быть выполнен с возможностью запроса того, чтобы декодер пропустил кадр или сократил продолжительность кадра, например, посредством сокращения длины кадра с 20 миллисекунд до 10 миллисекунд. Однако если задержка, вводимая посредством буфера флуктуаций, не должна быть изменена, то диспетчер буфера флуктуаций может запросить, чтобы декодер декодировал кадр без изменения сигнала.

Простые буферы флуктуаций вводят задержку посредством настройки задержки так, чтобы предварительно определенное количество пакетов или кадров вмещалось в буфер флуктуаций. Однако выгодным является настраивать количество вмещаемых в буфер пакетов для эффективной обработки изменяющихся состояний сети. Следовательно, в некоторых известных в уровне техники способах конечное количество сохраняемых в буфере флуктуаций кадров может быть вычислено адаптивно.

Изменение времени, в которое декодер берет следующий кадр из буфера флуктуаций, посредством вышеописанных способов, зачастую будет приводить к искажению выходного сигнала, например, получаемого вследствие удлинения или сжатия кадров. Способы маскировки потерь и флуктуаций (LJC) разработаны для минимизирования искажения, вызываемого адаптацией задержки. Далее со ссылкой на Фиг.2 будет описан принцип действия буфера флуктуаций и блока LJC.

Фиг.2 иллюстрирует пример приемной схемы 10 в терминале, используемой для приема пакетов данных, переданных из сети 104, в соответствии с уровнем техники. Приемная схема включает в себя блок 12 буфера флуктуаций, блок 14 декодера, блок 15 LJC и цифроаналоговый преобразователь.

Блок 12 буфера флуктуаций принимает пакеты данных из сети 104. Блок 12 буфера флуктуаций содержит хранилище буфера флуктуаций, выполненное с возможностью временного сохранения принимаемых из сети пакетов данных, и диспетчер буфера флуктуаций, который выполнен с возможностью определения действия, запрашиваемого блоком 14 декодера. Запрашиваемое действие сообщается блоку 14 декодера, как показано посредством соединения 22.

Блок 14 декодера принимает данные, предоставляемые в полезной нагрузке пакетов данных в виде битового потока, выводимого из блока 12 буфера флуктуаций, как показано посредством соединения 20. Блок 14 декодера декодирует битовый поток, в соответствии с применяемой схемой кодирования.

Характеристики сигнала анализируются для определения присутствия речевой активности в сигнале. Блок 15 LJC выполнен с возможностью определения того, может ли действие, выведенное из блока буфера флуктуаций по соединению 22, быть применено к сигналу в декодере. Как правило, действия, которые настраивают вводимую в буфере задержку, предпочтительны в периодах молчания, чтобы модификации задержки были менее прослушиваемыми в сигнале. Однако задержка также может настраиваться в периодах речевой активности посредством анализа характеристик в сигнале, которые указывают тип речевой информации в сигнале. Например, известно, что настройка задержки в периодах устойчивых речевых звуков, таких как звук «s» в слове «sing» или звук «а» в слове «car», вызывает меньшее искажение сигнала, по сравнению с настройкой задержки в периодах неустойчивых согласных речевых звуков, таких как звук «k» в слове «kid». В некоторых известных способах ответ декодера или блока LJC на запрашиваемое действие сообщается посредством блока 14 декодера в блок 12 буфера флуктуаций, как показано посредством соединения 24.

Следует отметить, что действие может быть выполнено в декодере 14 или же в блоке 15 LJC. Это является проблемой реализации.

Задержанный сигнал выводится посредством декодера 14 в качестве декодированного цифрового сигнала на цифроаналоговый преобразователь 16. Цифроаналоговый преобразователь 16 преобразовывает декодированный цифровой сигнал в аналоговый сигнал. После этого аналоговый сигнал может быть выведен посредством устройства вывода, такого как громкоговоритель.

Управление задержкой, в соответствии с типом речевой информации в сигнале, для минимизации искажения в сигнале снижает степень, в которой задержка, вводимая в принимаемый сигнал, может настраиваться в соответствии с изменяющимися состояниями сети. Это может привести к проблемам, таким как потеря данных и перцепционные артефакты при маскировке или задержка вследствие излишне высокой буферизации, в особенности когда состояния сети изменяются быстро.

Следовательно, задача настоящего изобретения заключается в повышении воспринимаемого качества принимаемого сигнала. Дополнительная задача настоящего изобретения заключается в обеспечении способа повышения качества принимаемого сигнала без использования сложных вычислительных способов.

Раскрытие изобретения

В соответствии с первым аспектом настоящего изобретения обеспечивается способ обработки сигнала, принимаемого узлом сети, содержащий этапы, на которых: принимают сигнал на узле, определяют характеристики первой части сигнала, определяют характеристики второй части сигнала, которая следует за первой частью сигнала, определяют воздействие на сигнал, вызываемое посредством применения действия к первой части сигнала, на основе характеристик первой части сигнала, определяют воздействие на сигнал, вызываемое неприменением действия к первой части сигнала, на основе характеристик второй части сигнала, применяют действие к первой части сигнала в случаях, если определено, что воздействие на сигнал, вызываемое посредством применения действия к первой части сигнала, менее вредно, по меньшей мере, для одного измерения качества сигнала, по сравнению с воздействием на сигнал, вызываемым посредством неприменения действия к первой части сигнала.

В соответствии со вторым аспектом настоящего изобретения обеспечивается узел для обработки принимаемого из сети сигнала, содержащий: средство для приема сигнала, средство для определения характеристик первой части сигнала, средство для определения характеристик второй части сигнала, которая следует за первой частью сигнала, средство для определения воздействия на сигнал, вызванного применением действия к первой части сигнала, на основе характеристик первой части сигнала, средство для определения воздействия на сигнал, вызываемого посредством неприменения действия к первой части сигнала, на основе характеристик второй части сигнала, средство для применения действия к первой части сигнала в случаях, если определено, что воздействие на сигнал, вызываемое посредством применения действия к первой части сигнала, менее вредно, по меньшей мере, для одного измерения качества сигнала, по сравнению с воздействием на сигнал, вызываемым посредством неприменения действия к первой части сигнала.

Краткое описание чертежей

Для лучшего понимания настоящего изобретения, а также для отображения того, как оно может быть реализовано, далее варианты осуществления настоящего изобретения будут описаны со ссылкой на чертежи, на которых изображено следующее:

Фиг.1 иллюстрирует схематичное представление системы связи;

Фиг.2 иллюстрирует схематичное представление приемной схемы, используемой в терминале, в соответствии с уровнем техники;

Фиг.3 иллюстрирует схематичное представление приемной схемы, используемой в терминале, в соответствии с вариантом осуществления настоящего изобретения; и

Фиг.4 изображает блок-схему, иллюстрирующую алгоритм в соответствии с вариантом осуществления настоящего изобретения.

Осуществление изобретения

На Фиг.1 показаны терминал 100 и терминал 112, соединенные с сетью 104 связи. Терминал 100 выполнен с возможностью передачи данных на терминал 112 по сети 104 связи. В одном варианте осуществления изобретения сеть связи является сетью VoIP, обеспечиваемой посредством сети Интернет. Следует принять во внимание, что хотя иллюстративная система связи изображена и подробно описана в настоящем документе с использованием терминологии сети VoIP, варианты осуществления настоящего изобретения могут быть использованы в любой другой подходящей системе связи, которая упрощает передачу данных.

Терминалы 100 и 112 могут являться, например, персональным компьютером, игровым устройством, персональным цифровым устройством, подходящим мобильным телефоном или другим мобильным устройством, телевизионным или другим устройством, имеющим возможность соединения с сетью 104.

Изобретатели настоящего изобретения установили, что актуальность настройки задержки за период одной части сигнала зависит от будущих характеристик принимаемого сигнала.

Изобретатели установили, что посредством контроля или предсказания будущих характеристик принимаемого сигнала может быть определено, может ли задержка быть настроена более выгодным образом в будущем. Следовательно, может быть определено, что оптимальным действием может быть настройка задержки в течение последующей части сигнала.

Изобретатели также установили, что решения о настройке задержки в течение одной части сигнала оказывают воздействие на последующие части сигнала. Соответственно, посредством контроля или предсказания будущих характеристик принимаемого сигнала, е, которое настройка задержки в течение одной части сигнала оказывает на последующие части сигнала, может быть принято решение, следует ли настраивать задержку.

Будущие характеристики сигнала могут относиться к текущему и/или будущему состояниям передачи сети.

Путем оценки воздействия, которое настройка задержки будет оказывать на последующие части сигнала, может быть определено оптимальное действие посредством сравнения немедленных последствий принятия действия с более долговременными последствиями принятия действия. Например, немедленные последствия увеличения задержки в течение текущего речевого звука могут привести к слышимым искажениям в выводимом сигнале. Однако если сетевая задержка увеличивается быстро, то более долговременные последствия неувеличения задержки могут привести к тому, что буфер флуктуаций будет работать незаполненным и в выходном сигнале может возникнуть потенциально значительно худший артефакт по сравнению с обусловленным добавлением задержки в текущий речевой звук. Следовательно, может быть определено, что оптимальным действием может быть увеличение задержки в течение текущего речевого звука, даже если настройка задержки звука в течение текущего речевого звука приведет к искажению сигнала, которого при отдельном рассмотрении можно было бы избежать.

В соответствии с вариантом осуществления изобретения решение о настройке задержки в течение одной части принимаемого сигнала зависит от будущих характеристик принимаемого сигнала.

В одном варианте осуществления изобретения будущие характеристики сигнала касаются оцененного времени поступления пакетов в сигнале, которые еще не были приняты в терминале.

Далее со ссылкой на Фиг.3 будет описан способ, с помощью которого может быть реализован вариант осуществления изобретения. Фиг.3 изображает приемную схему 10' терминала 112 в соответствии с вариантом осуществления настоящего изобретения. Компоненты приемной схемы 10', которые описаны со ссылкой на Фиг.2, указаны на Фиг.3 посредством использования аналогичных ссылочных номеров. Должно быть понятно, что приемная схема, описанная со ссылкой на Фиг.3, также может присутствовать в терминале 100.

Изображенная на Фиг.3 приемная схема 10' содержит блок 12 буфера флуктуаций, декодер 14, блок 15 LJC и цифроаналоговый преобразователь 16.

В соответствии с вариантом осуществления изобретения приемная схема 10' дополнительно содержит блок 18 оптимизированного действия. Блок 18 оптимизированного действия выполнен с возможностью определения оптимизированного действия, которое будет применено посредством декодера 14 или блока 15 LJC к части декодируемого сигнала.

Будущие характеристики сигнала относятся к характеристикам последующих частей сигнала, которые следуют за частью сигнала, в которой может настраиваться задержка. В изображенном на Фиг.3 варианте осуществления часть сигнала, в которой может настраиваться задержка, является частью сигнала на декодере 14. По существу, будущие характеристики сигнала могут относиться к характеристикам части сигнала, которая сохранена в буфере флуктуаций, и/или характеристикам части сигнала, которая еще не поступила на терминал 112.

Характеристики сигнала могут относиться к характеристикам сигнала, которые влияют на искажение сигнала при применении действия по настройке задержки, например характеристикам, связанным с речевой информацией. Характеристики сигнала также могут относиться к характеристикам сигнала, которые касаются задержки распространения сигнала в сети. Характеристики части сигнала, которая еще не поступила на терминал, могут быть предсказаны из характеристик принимаемого сигнала.

На Фиг.3 принимаемый сигнал изображен посредством сплошной линии. Информация, извлекаемая из принимаемого сигнала, иначе называемая метаданными, изображена посредством пунктирной линии, в то время как действия изображены посредством штрихпунктирной линии.

Метаданные сигнала могут быть предоставлены блоку оптимизированного действия из буфера 12 флуктуаций, декодера 14 и блока 15 LJC. Как изображено на Фиг.3, метаданные также могут быть предоставлены от блока 26 моделирования сети и блока 28 моделирования источника. Блок 26 моделирования сети и блок 28 моделирования источника будут более подробно описаны в настоящем документе ниже. Метаданные, вместо сигнала, предоставляются блоку оптимизированного действия для снижения уровня сложности информации, которую требуется обрабатывать блоку 18 оптимизации.

Метаданные, предоставляемые блоку 18 оптимизированного действия, могут включать в себя информацию, извлекаемую из сигнала, которая может быть использована для определения искажения сигнала, являющегося результатом действия. Альтернативно или дополнительно, метаданные, предоставляемые блоку оптимизированного действия, могут включать в себя информацию, извлекаемую из сигнала, которая может быть использована для определения задержки распространения сигнала или вариации задержки распространения. Следовательно, метаданные могут включать в себя информацию, касающуюся речевой активности, типа речи и параметров сигнала, включающих в себя стабильность основного тона, мощность сигнала и периодичность сигнала.

В частности, блок 18 оптимизированного действия может быть выполнен с возможностью контроля за метаданными, касающимися: текущей информации в сигнале, текущего состояния буфера флуктуаций, текущего состояния передачи сети, текущего состояния декодера, текущего состояния блока LJC, оценки будущей информации в сигнале, оценки состояния буфера флуктуаций, оценки будущего состояния передачи сети, оценки будущего состояния декодера и/или оценки будущего состояния блока LJC. Этот список является примером типов метаданных, которые могут быть предоставлены блоку оптимизации, и не является полным.

Метаданные, предоставляемые от блока 12 буфера флуктуаций, могут быть использованы для определения задержки распространения сигнала или вариаций в задержке распространения сигнала для последующих частей сигнала. Например, метаданные, предоставляемые от блока 12 буфера флуктуаций, могут определять время поступления пакетов на буфер флуктуаций. Блок 18 оптимизированного действия может контролировать задержку между временами поступления каждого пакета в течение периода времени для определения вариаций в задержке распространения сигнала для пакетов, принимаемых буфером флуктуаций. Блок 18 оптимизированного действия также может использовать задержку между временами поступления принимаемых пакетов для предсказания задержки распространения последующих частей сигнала, еще не принятых терминалом 112.

Альтернативно, метаданные, предоставляемые от блока 12 буфера флуктуаций, могут определять количество пакетов в хранилище буфера флуктуаций. Если в хранилище буфера флуктуаций сохранено небольшое количество пакетов, например меньше предварительно определенного порога, то блок 18 оптимизированного действия может предсказать, что сетевая задержка распространения для последующих частей сигнала высока. Также, посредством контроля за количеством пакетов, которое присутствует в хранилище буфера флуктуаций, в течение периода времени, блок оптимизации также может определить скорость, с которой изменяется задержка распространения сигнала, и использовать эту информацию для предсказания задержки распространения частей сигнала, еще не принятых терминалом 112.

Метаданные, предоставляемые от блока 12 буфера флуктуаций, также могут быть использованы для определения речевой активности в последующих частях сигнала, которые могут вызвать искажения при применении действия. Метаданные могут определить параметры, которые могут быть извлечены из кодированных речевых кадров в буфере флуктуаций для указания характеристик, таких как присутствие речевой активности или стабильность речевого звука.

Метаданные, предоставляемые от декодера 14 и блока 15 LJC, могут быть использованы для определения характеристик в части сигнала в декодере. Параметры могут быть извлечены из кодированного битового потока перед декодированием сигнала или же из декодированного сигнала после декодирования сигнала. Параметры могут быть связаны с речевой информацией в сигнале. В одном варианте осуществления изобретения могут быть предоставлены метаданные, указывающие длину кодированного битового потока, представляющего кадр или набор кадров.

Метаданные, предоставляемые от блока 15 LJC, могут касаться внутреннего состояния блока LJC. Например, внутреннее состояние блока LJC может касаться сигнала, из которого он генерирует выборки маскирования, или же остаточных значений, которые зависят от части сигнала, которая использовалась ранее для генерирования выборок маскирования. Альтернативно, метаданные, предоставляемые от блока 15 LJC, могут указывать действие, примененное последним посредством блока LJC. Например, блок LJC может сообщить о том, что последнее действие, которое он выполнил, было вставкой кадра в сигнал. Посредством контроля за этими действиями блок 18 оптимизированного действия может определить изменения в задержке распространения сигнала и, основываясь на этом, предсказать задержку распространения сигнала для последующих частей сигнала.

Блок 26 моделирования сети выполнен с возможностью контроля за характеристиками сигнала, которые касаются распространения сигнала по сети. Например, блок 26 моделирования сети может контролировать время поступления кадров сигнала или ухудшение передачи сигнала. Блок моделирования сети применяет эту информацию к статистической модели, что предоставляет возможность предсказания задержки распространения сигнала в сети. О предсказанной задержке распространения сообщается блоку 18 оптимизированного действия, как изображено посредством соединения метаданных на Фиг.3.

Блок 28 моделирования источника выполнен с возможностью контроля за выводом декодированного сигнала с декодера 14 для определения характеристик в сигнале, которые касаются передаваемой в сигнале информации. Блок моделирования источника может быть выполнен с возможностью моделирования речевых образцов в декодированном сигнале для предсказания речевой информации в будущем. В одном варианте осуществления изобретения модель источника также принимает входные данные с датчика речевой активности (не показан), выполненного с возможностью обнаружения речевой информации в сигнале, передаваемом с терминала 112. Эта информация используется для оценки интерактивности диалога для предсказания будущих периодов молчания в принимаемом сигнале. Предсказанная речевая информация предоставляется блоку 18 оптимизированного действия, как показано на Фиг.3, посредством выхода соединения метаданных из блока моделирования источника.

Следует понимать, что вышеупомянутый пример речевой активности предоставлен лишь для иллюстрирования метаданных, получаемых от модели источника, которые могут быть измерены или оценены для определения воздействия на сигнал, вызванного применением действия. Специалистам в данной области техники будет понятно, что из выводимого с декодера сигнала могут быть получены другие метаданные, такие как вокализация, огибающая энергии во времени или частоте, фонема и эволюция этих характеристик в течение времени, для определения воздействия на сигнал от применения действия, без отклонения от основного объема настоящего изобретения.

Оптимальное действие может быть получено посредством блока 18 оптимизированного действия из метаданных, принимаемых, по меньшей мере, от одного из компонентов приемной схемы. В соответствии с одним вариантом осуществления изобретения оптимальное действие определяется детерминированно посредством применения метаданных к правилу, которое определяет оптимизированное действие. В соответствии с другим вариантом осуществления изобретения оптимальное действие определяется стохастически посредством контроля за статистикой метаданных и определения действия на основе вероятностей или ожиданий воздействий от выполнения действия. В предпочтительном варианте осуществления изобретения оптимальное действие определяется посредством комбинирования стохастического и детерминированного способов.

Далее описывается пример правила, которое может быть применено в блоке оптимизированного действия для определения оптимального действия, которое будет выполняться по отношению к принимаемому сигналу.

Далее со ссылкой на Фиг.4 описываются этапы алгоритма, выполняемого посредством блока 18 оптимизированного действия для определения оптимизированного действия, в соответствии с вариантом осуществления настоящего изобретения.

Для определения немедленного воздействия, которое настройка задержки будет оказывать на сигнал, метаданные для части сигнала, к которой может быть применено действие, такое как вставка или пропуск, растяжение или сжатие, предоставляются блоку 18 оптимизированного действия.

Как показано на этапе 1, изображенном на Фиг.4, немедленные последствия для применения ряда возможных действий определяются посредством блока 18 оптимизированного действия. Например, определяются последствия применения вставки, пропуска или декодирования сигнала без применения дополнительных действий. Эти последствия могут быть определены относительно, так что последствия каждого действия могут сравниваться. Например, масштабированное значение может быть применено для количественного определения последствия каждого действия.

В одном варианте осуществления изобретения немедленное последствие применения вставки может быть определено из кадра, выведенного с декодера последним, поскольку он является кадром, который блок LJC копирует для вставки кадра.

Последствие пропуска кадра может быть определено из кадра, следующего сразу за кадром, который будет пропущен. В частности, адаптивные коэффициенты кодовой книги следующего кадра могут быть использованы для вычисления последствия пропуска кадра. Если коэффициент высок, то следующий кадр сильно зависит от кадра, который будет пропущен, и, следовательно, пропуск кадра, вероятно, окажет более сильное воздействие на воспринимаемое качество сигнала.

Как показано на этапе 2, последствиям, определенным для каждого действия (i), назначают относительное значение. Относительное значение последствия для каждого действия может называться оценкой действия (CoA). Поскольку последствия относятся к воздействию, которое маскирование флуктуаций оказывает на сигнал, последствия для каждого из этих действий могут быть определены более точно, в качестве оценки действия для маскирования флуктуаций (CoA_JC). В варианте осуществления изобретения чем больше искажение сигнала, вызываемое применением действие, тем выше значение CoA_JC.

Для определения CoA_JC для конкретного действия функция CoA_JC в блоке оптимизированного действия применяется к метаданным в части сигнала, к которой должно быть применено действие. Если предоставляемые блоку оптимизации метаданные определяют тип голоса в сигнале, то функция CoA может определить, что CoA_JC для настройки задержки в период согласного звука является высокой и ее следует избегать, тогда как CoA_JC для настройки задержки в период голосовой неактивности низкая и с легкостью допускается.

В варианте осуществления изобретения CoA_JC, которая описывает немедленное воздействие от применения действия, может настраиваться на основе будущих характеристик сигнала, таких как присутствие голосовой информации в последующих частях сигнала.

В одном варианте осуществления изобретения CoA_JC для каждого действия может быть настроена на основе воздействия от применения действия в течение последующих частей сигнала, вместо части сигнала, присутствующего в настоящее время в декодере.

На этапе 3 настроенное значение CoA_JC' для каждого действия (i) определяется на основе информации в последующих частях сигнала. Например, если голосовая информация в последующей части сигнала указывает, что действие приведет к меньшему искажению сигнала, если действие будет применено в течение последующей части сигнала, то значение CoA_JC увеличивается для этого действия, чтобы сократить возможность применения действия немедленно. Напротив, если голосовая информация в последующей части сигнала указывает, что действие приведет к большему искажению сигнала, если действие будет применено в течение последующей части сигнала, то значение CoA_JC уменьшается для этого действия, чтобы повысить возможность действия, применяемого немедленно.

Например, в одном варианте осуществления изобретения метаданные извлекаются из кадров в буфере флуктуаций для вычисления настроенного значения CoA_JC' для текущего кадра. Значение для CoA_JC для каждого действия вычисляется для каждого кадра в буфере флуктуаций. Это позволяет определить настроенное значение CoA_JC' для применения действия к текущему кадру посредством учета различия в значении CoA_JC для текущего кадра и CoA_JC для кадров в буфере флуктуаций.

В другом варианте осуществления метаданные предсказываются для обеспечения настройки CoA_JC до CoA_JC' на основе ожидаемых характеристик сигнала в будущем.

На этапе 4 блок оптимизированного действия выполнен с возможностью учета задержки распространения последующих частей сигнала в сети.

В соответствии с вариантом осуществления изобретения блок 18 оптимизированного действия выполнен с возможностью определения задержки распространения последующих частей сигнала для определения более долговременного воздействия применения действия относительно состояний сети.

Задержка распространения или изменение задержки распространения последующих частей сигнала могут быть определены из метаданных, предоставляемых декодером 14, блоком 15 LJC, буфером флуктуаций 12 или блоком 26 моделирования сети. Не является необходимым определять значение для абсолютной задержки распространения. Индикатора задержки распространения достаточно для определения состояний сети. Кроме того, задержка распространения может являться оценкой времени поступления следующего пакета, принимаемого посредством терминала.

Поскольку задержка распространения последующих частей сигнала является будущей характеристикой сигнала, может быть определена относительная важность применения действия. Например, если определено, что сетевая задержка распространения остается высокой для последующих частей сигнала, то важность применения действия вставки высока. Однако если определено, что сетевая задержка распространения увеличивается, то важность применения действия вставки очень высока.

Относительная важность выполнения действия для компенсации задержки распространения сигнала в сети будет называться оценкой действия для компенсации состояний сети (CoA_NW). На этапе 5 блок оптимизированного действия выполнен с возможностью определения CoA_NW для каждого возможного действия. В варианте осуществления изобретения чем больше важность применения действия для компенсации сетевой задержки, тем ниже значение CoA_NW. Чем меньше значение CoA_NW, тем с большей вероятностью блок оптимизированного действия применит действие.

На этапе 6 блок 18 оптимизированного действия выполнен с возможностью определения оптимального действия, которое будет применяться по отношению к части сигнала, присутствующей в настоящее время в декодере, посредством комбинирования CoA_JC' и CoA_NW для каждого действия, в соответствии с:

J(i)=CoA_JC'(i)+CoA_NW(i)

Уравнение (1)

где J - комбинированная оценка применения действия, а i обозначает действие.

На этапе 7 блок оптимизированного действия определяет минимальное значение J(i). Соответствующее действие (i), которое имеет минимальное значение J, определяется в качестве оптимального действия.

На этапе 8 блок оптимизированного действия инструктирует либо блок 15 LJC, либо декодер 14 о применении необходимого действия.

В альтернативном варианте осуществления изобретения возможные действия не ограничиваются действиями, которые повышают задержку, сокращают задержку или не настраивают задержку. Другие возможные действия могут включать в себя действия, которые готовят сигнал для действий, которые настраивают задержку. Например, действие может применить возмущение к сигналу для компенсации искажения, вызванного посредством применения действия. Альтернативно, огибающая мощности сигнала может быть изменена при подготовке для действия вставки.

Альтернативные варианты осуществления изобретения могут применять действия, которые изменяют последовательность действий вставки или растяжения для предотвращения тональности или музыкального артефакта.

В дополнение к этим могут быть реализованы другие действия, такие как действия, касающиеся определенной обработки потерянных пакетов, не отклоняясь от сущности изобретения.

В альтернативном варианте осуществления изобретения знание о декодере и блоке LJC может быть использовано для определения функции CoA_JC. Функция CoA_JC может быть настроена для определения CoA_JC для конкретных значений некоторых параметров, определенных в метаданных. Альтернативно, чтобы установить функцию CoA_JC в блоке 18 оптимизации, блок LJC может выполнять вставки или пропуски в случайных позициях в большом количестве речевых пакетных потоков, а затем измерять искажение речи локально около точки операции с использованием, например, PESQ (перцепционной оценки качества речи). Таким образом, получают пары метаданных и искажений. Способ преобразования, такой как многомерная линейная регрессия или смешанное моделирование Гаусса, может быть использован для определения вероятного искажения из метаданных, из которых может быть определена CoA_JC.

В альтернативном варианте осуществления настоящего изобретения CoA_JC не настраивается с учетом воздействия применения действий в течение последующих частей сигнала. В этом варианте осуществления изобретения блок 18 оптимизированного действия выполнен с возможностью определения оптимального действия, которое будет применяться к части сигнала, присутствующей в настоящее время на декодере, посредством комбинирования CoA_JC и CoA_NW для каждого действия, в соответствии с:

J(i)=CoA_JC(i)+CoA_NW(i)

Уравнение (2)

В альтернативном варианте осуществления изобретения явное определение воздействий применения каждого возможного действия не является необходимым. Например, в альтернативном варианте осуществления изобретения воздействия применения действия могут быть учтены неявно, с использованием функции, которая вычисляет оптимальное действие из предоставленных метаданных.

В вариантах осуществления настоящего изобретения необходимая обработка может быть реализована аппаратными средствами или посредством использования соответственно адаптированного программного обеспечения, выполняемого на процессоре. Программное обеспечение для реализации изобретения может быть сохранено и предоставлено посредством носителя, такого как диск, карта или лента. Возможна загрузка программного обеспечения по сети передачи данных. Это является вопросом реализации.

Хотя настоящее изобретение было конкретно проиллюстрировано и описано со ссылкой на предпочтительные варианты осуществления, специалистам в данной области техники будет понятно, что могут быть сделаны различные изменения по форме и в деталях, не выходя за рамки объема изобретения, как определено посредством формулы изобретения.