устройство для получения синхронизированных воспроизведенных сигналов звука и изображения

Формула изобретения

1. Устройство для получения синхронизированных воспроизведенных сигналов звука и изображения из восстановленного сжатого сигнала звука и изображения, причем сигналы звука и изображения содержат соответствующие отметки времени воспроизведения звука и отметки времени воспроизведения изображения, определенные с заранее заданными интервалами и привязанные к тактовому сигналу кодирующей системы, отличающееся тем, что оно содержит источник упомянутых восстановленных сжатых сигналов звука и изображения и источник местного тактового сигнала, блок декомпрессии, реагирующий на восстановленный сжатый сигнал изображения для формирования несжатого сигнала изображения и отметок времени воспроизведения изображения, блок декомпрессии, реагирующий на восстановленный сжатый сигнал звука для формирования несжатого сигнала звука и отметок времени воспроизведения звука, средства сравнения разности между значениями соответствующих отметок времени воспроизведения звука и отметок времени воспроизведения изображения с временем T между появлениями соответствующих отметок времени воспроизведения звука и отметок времени воспроизведения изображения, выраженным в периодах местного тактового сигнала, для формирования сигнала ошибки синхронизации звука/изображения и средства синхронизации несжатых сигналов звука и изображения, соединенные по меньшей мере с одним из блоков декомпрессии и реагирующие на упомянутый сигнал ошибки синхронизации звука/изображения.

2. Устройство по п.1, отличающееся тем, что упомянутые средства сравнения содержат включающие счетчик средства подсчета периодов местного тактового сигнала с получением величины, представляющей это время T и равной числу периодов этого тактового сигнала между появлениями соответствующих отметок времени воспроизведения звука и отметок времени воспроизведения изображения.

3. Устройство по п.2, отличающееся тем, что упомянутые включающие счетчик средства подсчета периодов местного тактового сигнала содержат счетчик, реагирующий на упомянутый местный тактовый сигнал для формирования последовательности значений подсчета по модулю N, где N - целое число, средства, реагирующие на появление упомянутых отметок времени воспроизведения звука для запоминания первого значения подсчета и реагирующие на появление соответствующих отметок времени воспроизведения изображения для запоминания второго значения подсчета, и вычитатель для определения разности между упомянутыми первым и вторым значениями подсчета.

4. Устройство по одному из пп.1 - 3, отличающееся тем, что упомянутый восстановленный сжатый сигнал звука и изображения содержит системные опорные тактовые сигналы, а устройство содержит реагирующие на системные опорные тактовые сигналы средства формирования упомянутого местного тактового сигнала, синхронного с упомянутым системным тактовым сигналом в кодере.

5. Устройство по одному из пп.1 - 4, отличающееся тем, что соответствующие блоки декомпрессии формируют несжатые сигналы изображения в заранее заданных интервалах и несжатый сигнал звука в других заранее заданных интервалах, а упомянутые средства синхронизации несжатых сигналов звука и изображения содержат блок, реагирующий на упомянутый сигнал ошибки синхронизации звука/изображения для пропуска или повторения некоторых из упомянутых заранее заданных интервалов несжатых сигналов звука.

6. Устройство по п.5, отличающееся тем, что упомянутый блок декомпрессии для формирования несжатого сигнала звука содержит источник тактового сигнала обработки для блока декомпрессии, а упомянутые средства синхронизации несжатых сигналов звука и изображения содержат дополнительно блок изменения частоты тактового сигнала обработки, реагирующий на упомянутый сигнал ошибки синхронизации звука/изображения.

7. Устройство по п.6, отличающееся тем, что упомянутый блок изменения частоты тактового сигнала обработки содержит бинарный умножитель скорости.

Описание изобретения к патенту

Данное изобретение относится к способу и устройству для синхронизации сигналов звука и изображения в аппаратуре декомпрессии сжатых сигналов звука/изображения.

Передача и прием сигналов звука и изображения требуют, чтобы составляющие звука и изображения были должным образом синхронизированы. Стандарты RS-250-B Ассоциации электронной промышленности (EIA) ограничивают разницу во времени между связанными сигналами звука и изображения величиной 25 мс при опережении и 40 мс при запаздывании. Стандарты на фильмы ограничивают разницу во времени между связанными сигналами звука и изображения до 1/2 длительности кадра, что соответствует 20.8 мс. Приемлемым диапазоном синхронизации сигналов звука и изображения у источника информации для зрителя является, таким образом, разница во времени 20 мс.

Цифровые системы связи обычно выполняют временное мультиплексирование (уплотнение) связанных составляющих сигнала для передачи их в одном канале. Такое мультиплексирование распространено среди систем передачи аудиовизуальной информации, предложенных и внедренных для кабельных, волоконно-оптических, наземных и спутниковых систем. Временное мультиплексирование составляющих сигнала может нарушить их естественные временные соотношения в промежутке между передачей и отображением информации. Поэтому критичные к времени компоненты передаваемых составных сигналов перед тем, как подвергнуться мультиплексированию, могут быть привязаны к опорному сигналу времени. Это называется "маркировкой" информации, а отсчеты времени называются отметками времени. Тогда приемник может выдавать соответствующие составляющие с привязкой по времени к соответствующим отметкам времени. Однако для осуществления этого преемник должен формировать очень точный местный опорный сигнал времени, который должен быть синхронным с опорным сигналом времени кодера.

Одной из причин, по которой приемник должен быть точно привязан к опорному времени передатчика, является необходимость обеспечить соответствие выходного сигнала данных в реальном времени сигналу на входе приемника. Если приемник подает данные (воспроизводит изображение) слишком быстро, буферы в приемнике могут опустеть, что в итоге приводит к прерываниям выходного сигнала. Если приемник выводит данные слишком медленно, буферы могут переполняться (так как буферы имеют конечную емкость), что приводит к потере данных.

В одной из предложенных систем приемник синхронизируется с передатчиком при помощи дополнительных отметок времени (системных опорных тактовых сигналов - SCR), связанных с заранее определенными пакетами передаваемой информации. Синхронизация с помощью отметок времени системных опорных тактовых сигналов SCR не имеет никакого отношения к отметкам времени воспроизведения (PTS), которые связаны с данными изображения, помимо того, что они выдаются одним и тем же счетчиком. Коды SCR генерируются с помощью отсчетов счетчика по модулю 2^N (N 32), который подсчитывает импульсы кварцевого тактового генератора по существу с постоянной частотой в передатчике. Приемник содержит петлю фазовой автоподстройки, которая имеет частоту свободной генерации, по существу равную частоте тактового генератора в передатчике. Тактовые импульсы приемника (местные тактовые импульсы) также подсчитываются по модулю 2^N и каждый раз, когда сигналы SCR приходят на приемник, у местного счетчика берется отсчет для формирования местного опорного тактового сигнала (LCR). Не предпринимается попыток для того, чтобы сделать LCR равным SCR. Вернее, местный тактовый генератор подстраивается на основе обработки изменений разности между отметками времени LCR и SCR. Сигнал ошибки образуется согласно соотношению



Сигнал ошибки используется для управления частотой местного тактового сигнала. Посредством этой обработки местный опорный тактовый сигнал LCR может быть сделан как угодно близким к тактовой частоте передатчика. Следует отметить, что поскольку и тактовые импульсы системы, и местные тактовые импульсы подсчитываются по модулю N, периодически происходит циклический переход. Во время этих переходов соответствующие члены SCR_n-SCR_n-1 и LCR_n-LCR_n-1 будут становиться отрицательными и ошибочными. Система контролирует полярность соответствующих разностей, и когда одна из разностей отрицательна, она игнорируется.

Кодированный по стандарту MPEG (стандарт по сжатию подвижных изображений) сигнал изображения содержит отметки PTS_vid времени воспроизведения, которые синхронизированы со входными кадрами изображения. Соответствующие PTS_vid указывают относительные моменты времени, в которые соответствующие кадры должны воспроизводиться в приемнике, номинально с частотой 30 Гц для источников данных по стандарту НТСЦ. Сопровождающий звуковой сигнал также кодируется с отметками PTS_aud времени воспроизведения, опирающимися на ту же самую базу времени, что и системное время, и эти отметки времени располагаются на уровне пакетов системы MPEG, заключающем в себе кодированные данные звука. Уровень системных пакетов звука может содержать несколько "кадров" данных звука, а соответствующим кадрам в данном примере соответствуют 24 мс потока исходных данных звука. Кадры звука имеют длительность примерно в шесть раз больше, чем длительность (127 байт) транспортного пакета. (Информация, которая должна передаваться - звук, изображение, данные и т. п. - разбивается на соответствующие транспортные пакеты заданного размера с рядом командных слов, добавляемых для обеспечения дополнительного уровня исправления/обнаружения ошибок и синхронизации). Кроме того, согласно протоколу MPEG число кадров звука, приходящихся на уровень системы MPEG, является переменным. Следовательно, корреляция между отметками PTS_vid и PTS_aud времени воспроизведения соответственно изображения и звука может быть незначительной или отсутствовать для источника информации изображения и звукового сопровождения. Таким образом, синхронизация составляющих звука и изображения будет затруднена, если пытаться выполнить ее с помощью сравнения отметок PTS_vid и PTS_aud.

Наиболее близким аналогом изобретения является устройство для синхронизации звука и изображения, описанное в патенте США N 4851909.

Целью настоящего изобретения является упрощение процесса синхронизации связанных составляющих звука и изображения.

Согласно изобретению приемник для декодирования связанных составляющих информации изображения и звука, передаваемых во взаимоисключающих "кадрах" с соответствующими отметками PTS_vid и PTS_aud времени, содержит контроллер, который реагирует на соответствующие принимаемые отметки времени и использует их для обеспечения грубой синхронизации с помощью задержки или пропуска соответствующих кадров какой-либо из составляющих для приблизительного выравнивания по времени двух составляющих. Точная синхронизация обеспечивается подстройкой частоты обработки или тактовой частоты процессора сигнала звука, независимого от процессора сигнала изображения. Управление подстройкой частоты связано с разностью между отметками времени звука и изображения.

Фиг. 1 представляет собой блок-схему устройства сжатия сигналов звука и изображения.

На фиг. 2 показана блок-схема устройства декомпрессии сжатых сигналов звука и изображения согласно предложенному изобретению.

На фиг. 3 приведена блок-схема устройства для получения тактового сигнала системы в приемнике, имеющего по существу ту же частоту, что и тактовый сигнал системы в устройстве сжатия.

На фиг. 4 приведена блок-схема алгоритма работы устройства, показанного на фиг.2.

На фиг. 5 и 6 показаны блок-схемы альтернативной генерации тактового сигнала обработки сигнала звука, которая может быть применена для блока 215 на фиг.2.

На фиг. 1 приведен пример системы, в которой может быть практически использовано изобретение и которая является системой передачи сжатого цифрового сигнала изображения. В данной системе сигнал изображения от источника 10 подается на блок 11 сжатия сигнала изображения, который может содержать кодер с предсказанием и компенсацией движения, использующий дискретные косинусные преобразования. Сжатый сигнал изображения из блока 11 подается на форматтер 12. Форматтер размещает сжатый сигнал изображения и другие вспомогательные данные согласно некоторому протоколу сигнала, например, стандарту MPEG, разработанному Международной организацией по стандартизации. Приведенный в соответствие со стандартом сигнал подается на транспортный процессор 13, который разделяет сигнал на пакеты данных и добавляет к ним определенную служебную информацию для того, чтобы обеспечить некоторую помехозащищенность в целях передачи. Транспортные пакеты, которые обычно появляются с непостоянной скоростью, вводятся в буфер 14 скорости, обеспечивающий вывод данных со сравнительно постоянной скоростью, что способствует эффективному использованию относительно узкой полосы канала передачи. Буферизованные данные подаются на модем 15, который осуществляет передачу сигнала.

Тактовый генератор 22 системы генерирует тактовый сигнал для приведения в действие многих устройств, включающих по меньшей мере транспортный процессор. Этот тактовый генератор будет работать на фиксированной частоте, например, 27 МГц. Однако, как здесь показано, он используется для генерации синхронизирующей информации. Тактовый генератор подключен к тактовому входу счетчика 23, который может быть построен для счета, например, по модулю 2³⁰. Значения подсчета с выхода счетчика подаются на два регистра 24 и 25. Источник сигнала изображения так управляет режимом работы регистра 24, чтобы фиксировать в регистре значения подсчета при появлении соответствующих кадровых интервалов. Этими значениями подсчета указываются отметки PTS времени воспроизведения, они включаются в поток данных сжатого сигнала изображения форматтером 12 и используются приемником для обеспечения точной синхронизации связанной информации звука и изображения. Регистр 25 управляет транспортным процессором 13 (или контроллером 21 системы) так, чтобы фиксировать значения подсчета согласно заранее установленной программе. Этими значениями подсчета отмечаются системные опорные тактовые сигналы (SCR), они вставляются в качестве вспомогательных данных в соответствующие вспомогательные транспортные пакеты.

Сигнал звука, связанный с сигналом изображения, от источника 10 подается на блок 18 сжатия сигнала звука. Блок 18 сжатия формирует кадровые импульсы отсчета (независимые от кадров изображения) для управления регистром 19. Реагируя на импульсы отсчета, регистр 19 запоминает значения подсчета, выдаваемые счетчиком 23. Эти зафиксированные значения соответствуют отметкам PTS_aud времени воспроизведения звука. Отметки PTS_aud включаются в состав сжатого сигнала звука, формируемого блоком 18 сжатия. Сжатый сигнал звука подается на транспортный процессор 17, который делит сигнал на пакеты данных и добавляет определенную служебную информацию, чтобы обеспечить некоторую помехозащищенность в целях передачи сигнала. Формируемые процессором 17 транспортные пакеты звука подаются на мультиплексор 16, который уплотняет с разделением во времени транспортные пакеты звука и изображения. На фиг.1 в каналах обработки сигналов звука и изображения показаны отдельные транспортные процессоры. В системах с невысокой скоростью передачи данных функции двух транспортных процессоров и мультиплексора могут быть реализованы единым транспортным процессором.

Контроллер 21 системы представляет собой конечный автомат, программируемый для согласования работы различных устройств обработки. Следует заметить, что контроллер 21, блоки 11 и 18 сжатия, транспортные процессоры 13 и 17 и буфер 14 скорости могут работать или не работать синхронно посредством схемы общей тактовой синхронизации, пока обеспечивается надлежащее синхронное взаимодействие устройств обработки. Однако оба устройства сжатия получают значения отметок времени воспроизведения PTS от одного и того же опорного счетчика 23, что обеспечивает точные временные соотношения между двумя сжатыми сигналами в сжатом выходном сигнале.

Фиг. 2 иллюстрирует пример приемного устройства согласно изобретению, в котором имеется источник восстановленных сигналов звука и изображения, включающий модем 200, который выполняет функцию, обратную функции модема 15, а буферы скорости 204 и 206 выполняют, по существу, функцию, обратную функции буфера 14. На фиг. 2 показан единый обратный транспортный процессор 202, который разделяет соответствующие транспортные пакеты по назначению и распределяет соответствующие данные в надлежащий канал обработки. При этом полезные данные сигнала соответствующего транспортного пакета отделяются от вспомогательных данных, причем соответствующие полезные данные подаются в надлежащий канал обработки, а вспомогательные данные подаются на контроллер 210 системы. В альтернативной схеме в состав каждого канала обработки может быть включен отдельный транспортный процессор для распознавания и обработки только тех данных, которые связаны с соответствующими каналами.

Сжатые данные изображения от обратного транспортного процессора 202 подаются в буфер 204 скорости, который подает сжатый сигнал изображения, соответствующий протоколу системы, в блок 214 декомпрессии. Буфер 204 скорости принимает данные с пульсирующей или непостоянной скоростью и подает данные по запросу в блок 214 декомпрессии. Реагируя на сжатый сигнал изображения, блок декомпрессии формирует несжатый сигнал изображения для воспроизведения, запоминания и т.п. с помощью подходящих дисплеев или запоминающих устройств (на фиг. 2 не показаны).

Сжатые данные звука от обратного транспортного процессора 202 подаются в буфер 206 скорости, который подает сжатый сигнал звука, соответствующий протоколу системы, в блок 212 декомпрессии звука. Реагируя на сжатый сигнал звука, блок 212 декомпрессии образует несжатый сигнал звука для воспроизведения, записи и т.п. с помощью подходящих громкоговорителей или запоминающих устройств (на фиг. 2 не показаны).

Обратный процессор 202 также формирует системные опорные тактовые сигналы из вспомогательных транспортных данных и управляющие сигналы для средств формирования местного тактового сигнала, синхронного с системным тактовым сигналом в кодере. Данные средства являются источником местного тактового сигнала и выполнены в виде тактового генератора 208 системы. Реагируя на подаваемые сигналы, тактовый генератор генерирует тактовый сигнал системы, синхронный по меньшей мере с работой транспортного процессора. Этот тактовый сигнал системы подается на контроллер 210 приемной системы для управления синхронизацией соответствующих устройств обработки сигналов.

На фиг. 3 показаны элементы взятого в качестве примера регенератора 208 тактового сигнала. Данные от модема 200 приемника подаются на обратный транспортный процессор 202", содержащий детектор 31 вспомогательных пакетов. Обратный транспортный процессор 202" отделяет данные транспортного заголовка от полезных данных соответствующего транспортного пакета. Реагируя на данные транспортного заголовка, процессор 202" подает полезные данные сигнала звука и изображения, например, на соответствующие блоки декомпрессии (на фиг. 3 не показаны), а вспомогательные данные (обозначенные как "Вспом.") - на соответствующие блоки обработки вспомогательных данных (не показаны). Системные опорные тактовые сигналы SCR, находящиеся среди вспомогательных данных, направляются в блок 34 памяти и хранятся в нем.

Детектор 31 вспомогательных пакетов, который может быть выполнен как согласованный фильтр для распознавания кодовых слов, обозначающих вспомогательный транспортный пакет, содержащий системный опорный тактовый сигнал SCR, формирует управляющий импульс при появлении транспортных пакетов, содержащих такие данные. Управляющий импульс используется для запоминания и хранения в регистре 35 текущего значения подсчета, представляемого местным счетчиком 36 в момент, точно привязанный ко времени детектирования. Местный счетчик 36 подсчитывает импульсы, поступающие от генератора 37, управляемого напряжением. Счетчик 36 выполнен для счета по модулю M, которое может быть, хотя и не обязательно, тем же самым числом, что и у аналогичного счетчика в кодере (счетчика 23). Если M отличается от N, то различие может быть учтено в уравнении ошибки.

Генератор 37, управляемый напряжением, управляется отфильтрованным с помощью фильтра 38 нижних частот сигналом ошибки, который формируется контроллером 39 тактового сигнала. Сигнал ошибки формируется следующим образом. Обозначим системный опорный тактовый сигнал SCR, приходящий в момент "n", как SCR_n, а значение местного подсчета, одновременно запоминаемое а регистре 35, обозначим как LCR_n. Контроллер тактового сигнала считывает последовательные значения опорных сигналов SCR и LCR и формирует сигнал E ошибки, пропорциональный разностям



Сигнал E ошибки используется для управления перестройкой генератора 37 по частоте так, чтобы уравнять разности. Как было указано выше, отрицательные разности, получающиеся из-за циклического перехода счетчика по модулю, могут игнорироваться. Сигнал ошибки, образуемый контроллером 39 тактового сигнала, может иметь форму сигнала с широтно-импульсной модуляцией, который может быть преобразован в аналоговый сигнал ошибки с помощью фильтра 38 нижних частот, построенного из аналоговых элементов.

В такой системе необходимо, чтобы счетчики на двух концах системы подсчитывали импульсы одной частоты или частот, кратных ей. Это требует, чтобы номинальная частота генератора, управляемого напряжением, была весьма близкой к частоте тактового генератора системы в кодере.

Рассмотренный подход обеспечивает довольно быструю синхронизацию, но может вносить долговременную ошибку. Долговременная ошибка LTE пропорциональна разности



где SCR₀ и LCR₀ обозначают, например, первый появившийся системный опорный тактовый сигнал SCR и соответствующее зафиксированное значение подсчета счетчика приемника. Номинально сигналы E и LTE ошибок будут изменяться дискретными шагами. Таким образом, когда система "синхронизирована", сигнал ошибки будет колебаться относительно нулевой точки на единицу. Предпочтительный способ синхронизации заключается в том, что управление генератором, управляемым напряжением, начинают с использованием сигнала E ошибки и осуществляют его до появления в сигнале E ошибки колебаний на единицу, после чего переключаются на использование сигнала долговременной ошибки LTE для управления генератором, управляемым напряжением.

Тактовый сигнал системы, генерируемый кварцевым генератором 37, управляемым напряжением, может использоваться для работы по меньшей мере транспортного процессора и буферов скорости. Поскольку он синхронизируется по частоте по меньшей мере с тактовым сигналом системы в кодере, возможность переполнения или опустошения буфера скорости вследствие ошибок тактовой синхронизации по существу отсутствует.

Синхронизация сигналов звука и изображения объясняется с помощью фиг. 2. Как было отмечено выше, отметки PTS_vid времени воспроизведения включаются в сжатый сигнал изображения, связанный с заранее определяемыми данными изображения. PTS_vid является указателем относительного времени, когда должно быть воспроизведено соответствующее изображение. Аналогично, сжатый сигнал звука содержит отметки PTS_and времени воспроизведения, связанные со звуком, который должен быть воспроизведен в моменты, привязанные к соответствующим PTS_and. В приемнике PTS_and и PTS_vid не могут сравниваться непосредственно для обеспечения синхронизации звука/изображения, так как соответствующие отсчеты были определены в разные моменты времени. Соответствующие значения отметок времени воспроизведения сравниваются с непрерывным опорным хронирующим сигналом, в качестве которого выступает тактовый сигнал приемника, формируемый генератором 37. Это сравнение осуществляется с помощью отсчетов местных отметок времени из значений подсчета местных опорных тактовых импульсов.

Показанные на фиг. 2 блоки 217, 218, 220, 222 образуют средства определения времени T между появлениями соответствующих отметок воспроизведения звука и отметок времени воспроизведения изображения, выраженного в периодах местного тактового сигнала.

Когда появляются данные, связанные с соответствующими отметками времени воспроизведения, отсчитывается LCR. Например, устройство 212 восстановления выдает PTS_aud, когда соответствующий кадр звукового сопровождения выводится для воспроизведения. В эти моменты управляющий сигнал заставляет регистр 220 сделать отсчет LCR, значения которого обозначим как LAS (местные отметки звука). Аналогично, когда блок декомпрессии изображения подает кадр изображения для воспроизведения, он выдает PTS_vid, а также управляющий импульс для перевода регистра 222 в режим хранения текущего значения LCR. Эти значения LCR обозначим как LVS (местные отметки изображения).

Значения местных отметок LAS звука и соответствующей отметки PTS_aud подаются на соответствующие входы вычитателя 218, который образует сигнал _A-PTS в соответствии с зависимостью

_A-PTS= PTS_aud-LAS.

Значения LVS и соответствующей отметки PTS_vid по отдельности подаются на входы вычитателя 217, который образует сигнал _V-PTS в соответствии с зависимостью

_V-PTS= PTS_vid-LVS.

Сигналы _V-PTS и _A-PTS подаются на соответствующие входы средств вычисления разности между значениями соответствующих отметок времени воспроизведения звука и отметок времени воспроизведения изображения и сравнения этой разности с упомянутым временем T, выполненных в виде еще одного вычитателя 219, который вырабатывает сигнал ERR_PTS ошибки синхронизации звука и изображения в соответствии с зависимостью

ERR_PTS= _V-PTS-_A-PTS.

Синхронизация звука и изображения требует, чтобы ошибка синхронизации сигналов звука/изображения сводилась к нулю. Это означает, что когда разность значений соответствующих отметок времени воспроизведения равняется времени, выраженному в единицах (периодах) местного опорного сигнала, между появлением соответствующих отметок PTS, сигналы звука и изображения будут синхронными.

Для подстройки синхронизации сигналов звука/изображения могут быть использованы два механизма, основанные на сигнале ERR_PTS ошибки: пропуски и повторения сегментов данных и отклонение частоты тактового сигнала преобразования. Пропуск фиксированных интервалов или "кадров" звука вызывает продвижение потока данных звука вперед на фиксированный интервал относительно сигнала изображения. Повторение (или режим молчания без использования данных) задерживает поток данных звука на фиксированные интервалы относительно сигнала изображения. Пропуск и повторение кадров звука во многих режимах может прослушиваться, и поэтому используется только для грубой подстройки синхронизации. Тем не менее, кратковременный пропуск или повторение может быть предпочтительным для значительных ошибок синхронизации сигналов звука/изображения. Если кадры звука имеют длительность менее 40 мс, то грубая подстройка с помощью пропуска/повторения может давать в результате ошибки синхронизации в пределах 20 мс, что соответствует промышленным стандартам синхронизации звука/изображения. Однако эта синхронизация будет ухудшаться, если опорный хронирующий сигнал преобразования звука не будет совпадать с опорным сигналом источника. Когда синхронизация грубо подстроена, с целью дополнительного повышения точности синхронизации сигналов звука и изображения используются изменения тактовой частоты преобразования сигнала звука.

Сигнал ERR_PTS ошибки подается на блок 216 фильтра и обработки. Действие фильтра в нем сглаживает сигнал ERR_PTS для того, чтобы минимизировать воздействие отклонений, которые в противном случае могут создаваться шумами в сигнале. После этого функция обработки в блоке 216 позволяет проверить сглаженный сигнал ошибки и определить, должны ли быть использованы пропуск/повторение данных звука для выполнения грубой синхронизации сигналов звука и изображения и/или следует ли использовать подстройку частоты обработки сигнала звука для осуществления точной синхронизации. Если определяется, что необходима грубая подстройка синхронизации, процессор 216 подает управляющий сигнал на блок 212 декомпрессии звука, заставляющий этот блок пропустить или повторить текущий кадр декомпрессированных данных звука. Вместо грубой подстройки или в дополнение к ней, если определена необходимость точной подстройки, процессор 216 подает управляющий сигнал на блок 215 опорного хронирующего сигнала канала звука, чтобы подстроить частоту тактового сигнала обработки сигнала звука. Таким образом, процессор 216 и блок 215 выполняют функции средств синхронизации несжатых (декомпрессированных) сигналов звука и изображения, которые реагируют на сигнал ошибки синхронизации звука/изображения.

Алгоритм обработки подробно поясняется структурной схемой на фиг. 4. После инициализации (400) системы, обозначенной как "ПУСК", система контролирует (401) появление PTS_aud в блоке декомпрессии сигнала звука, и если PTS_aud обнаруживается, она считывается (403), и местная отметка звука опорного сигнала местного тактового генератора запоминается и хранится. Если PTS_aud не появилась, то система проверяет декомпрессор изображения на наличие PTS_vid (402). Если PTS_vid появилась, она считывается, и отметка времени изображения местного тактового генератора запоминается и хранится (404). Когда обе отметки PTS_and и PTS_vid считаны, сигнал ошибки вычисляется (405) согласно равенству:

ERR_PTS= _V-PTS-_A-PTS.

Модуль сигнала ошибки проверяется (406), чтобы определить, не больше ли он половины длительности звукового кадра. Если он больше, чем половина длительности звукового кадра, то сигнал ошибки проверяется на полярность (407). Если полярность положительна, текущий кадр звука повторяется (409). Если она отрицательна, текущий кадр звука пропускается (408). После пропуска или повторения кадра система снова возвращается к начальному состоянию для ожидания следующего появления отметок времени воспроизведения.

Если на шаге 406 модуль сигнала ошибки меньше, чем половина длительности звукового кадра, ошибка проверяется, чтобы определить, больше ли она нуля (410). Если ошибка больше нуля, то она проверяется (412), чтобы определить, меньше ли она, чем предыдущий сигнал ошибки. Если она меньше, чем предыдущий сигнал ошибки, то это является показателем того, что система приближается к синхронизации, и параметры управления синхронизацией не изменяются. Система возвращается к начальному состоянию для ожидания следующих отметок времени воспроизведения. Напротив, если ошибка увеличилась относительно предыдущего сигнала ошибки, то тактовый сигнал обработки звука подстраивается так, чтобы уменьшить его частоту (414).

Если на шаге 410 ошибка меньше нуля (отрицательна), она проверяется (411), чтобы определить, больше ли она, чем предыдущий сигнал ошибки. Если она больше, чем предыдущий сигнал ошибки, это также является показателем того, что система приближается к состоянию синхронизации, и параметры управления синхронизацией не изменяются. Напротив, если текущий сигнал ошибки меньше, чем предыдущий сигнал ошибки, то система стремится к дальнейшему выходу из синхронизации, и тактовая частота обработки сигнала звука увеличивается (413). После шагов 412 и 413 обработки система возвращается к ожиданию следующего появления отметок времени воспроизведения. Следует заметить, что в этом примере система осуществляет только грубые подстройки посредством пропуска или повторения кадров звука до тех пор, пока ошибка синхронизации сигналов звука/изображения не станет менее половины длительности кадра звука.

В соответствии с другой формой осуществления изобретения отфильтрованный сигнал ошибки сравнивается с заданным порогом, связанным с размером соответствующих кадров звука. Если сигнал ошибки меньше, чем порог, то это означает, что ошибка синхронизации сигналов звука и изображения меньше длительности кадра звука, в этом случае сигнал ошибки подается на блок 215 опорного хронирующего сигнала канала звука, где он используется для подстройки частоты тактового сигнала обработки (декомпрессии) сигнала звука. Напротив, если сигнал ошибки больше, чем порог, то сигнал ошибки можно разделить на величину, соответствующую длительности кадра звука с тем, чтобы определить число кадров звука, на которое рассогласованы сигналы звука и изображения. Целая часть частного подается на блок декомпрессии сигнала звука, чтобы заставить блок декомпрессии пропустить или повторить такое число кадров звука. Полярность сигнала ошибки будет определять, должны ли кадры звука быть пропущены или повторены. Как правило, перед подачей на выход декомпрессированные данные помещаются в буферное запоминающее устройство, поэтому пропуск или повторение кадров звука достигается просто путем управления разрешением на выполнение команд считывания/записи в запоминающем устройстве.

Дробная часть частного подается в блок 215 опорного хронирующего сигнала канала звука, где она используется для подстройки тактовой частоты обработки сигнала звука с целью точной настройки синхронизации звука/изображения.

Скорость получения отметок времени воспроизведения звука пропорциональна скорости обработки в блоке декомпрессии звука. Эта скорость обработки прямо пропорциональна частоте тактового сигнала, используемого для работы блока декомпрессии звука. Если тактовая частота блока декомпрессии звука не зависит от тактового сигнала, используемого для работы блока декомпрессии изображения, и может точно подстраиваться, то тогда может подстраиваться относительная скорость появления отметок времени воспроизведения звука и изображения, а звук и изображение могут точно синхронизироваться.

На фиг. 5 показана первая форма реализации схемы для генерации подстраиваемого тактового сигнала обработки сигнала звука. На фиг.5 генератор 503, управляемый напряжением, включен в петлю фазовой автоподстройки, содержащую блоки 500 и 501. Выходной сигнал генератора подается на один из входов фазового детектора 500. Тактовый сигнал системы подается на второй вход фазового детектора через бинарный умножитель 505 скорости. Сигнал фазовой ошибки, образуемый фазовым детектором, фильтруется фильтром 501 нижних частот. Сглаженный сигнал фазовой ошибки подается на вход управления генератора, заставляя генератор генерировать колебания с той же частотой и фазой, что и на выходе бинарного умножителя скорости. В данном примере тактовая частота системы составляет около 27 МГц, а необходимая тактовая частота для обработки сигнала звука равняется приблизительно 1/380 от частоты сигнала 27 МГц. Управляющий сигнал от устройства 216 подается на вход управления бинарного умножителя скорости для управления частотой его выходного сигнала. Этот управляющий сигнал выбирается так, чтобы получить номинальный коэффициент деления 1/380, но изменяется около этого значения так, чтобы управляя режимом работы бинарного умножителя скорости, получить на выходе частоту, соответствующую требуемой в данный момент скорости обработки сигнала звука.

Фиг. 6 иллюстрирует второй пример генерации подстраиваемого тактового сигнала обработки сигнала звука. В этом примере сигнал с постоянной тактовой частотой от тактового генератора 208 системы или какого-либо другого стабильного генератора подается на один из входов бинарного умножителя 600 скорости. Этот умножитель управляется с помощью управляющего сигнала от блока 216 обработки так, чтобы генерировать номинальную необходимую тактовую частоту обработки сигнала звука. Реагируя на сигнал ошибки синхронизации звука/изображения, блок 216 обработки изменяет этот управляющий сигнал так, чтобы заставить умножитель уменьшать или увеличивать номинальную тактовую частоту обработки сигнала звука.

В соответствии с еще одной формой осуществления изобретения устройство, изменяющее скорость обработки сигнала звука (не показано), может содержать генератор для получения номинального максимума тактовой частоты обработки сигнала звука и схему селекции. Генератор подключен к схеме обработки сигнала звука через схему селекции. Схема селекции управляется блоком 216 обработки так, чтобы с помощью вырезания некоторых выходных импульсов генератора получить, в среднем, необходимую тактовую частоту обработки сигнала звука.

В соответствии с еще одной формой осуществления устройства синхронизации, показанной пунктирной стрелкой на фиг. 2, для осуществления синхронизации может выполняться пропуск или повторение кадров изображения. В других формах осуществления изобретения кадры изображения могут пропускаться, если звук опережает изображение или отстает от него, а кадры звука могут пропускаться, если кадры звука отстают от данных изображения или опережают их. Однако в предпочтительной форме осуществления изобретения кадры звука пропускаются/повторяются для звука, отстающего от изображения и опережающего его соответственно.