внедрение водяного знака

Формула изобретения

1. Устройство для введения водяного знака в аудиосигнал, содержащее:

средство для преобразования аудиосигнала из временного представления во временное/спектральное представление;

средство для преобразования аудиосигнала из временного/спектрального представления в спектральное/модуляционное спектральное представление;

средство для внедрения водяного знака в аудиосигнал в спектральном/модуляционном спектральном представлении посредством модификации значений модуляции в зависимости от водяного знака и формирования модифицированного спектрального/модуляционного спектрального представления; и

средство для генерирования аудиосигнала, имеющего внедренный в него водяной знак, из спектрального/модуляционного спектрального представления через временное/спектральное представление во временное представление или из спектрального/модуляционного спектрального представления во временное/спектральное представление.

2. Устройство по п.1, в котором средство (18, 20) для преобразования аудиосигнала во временное/спектральное представление выполнено с возможностью разделять временное/спектральное представление на множество спектральных компонентов, чтобы получить последовательность спектральных значений для каждого спектрального компонента, и средство (212, 214, 28) для преобразования аудиосигнала из временного/спектрального представления в спектральное/модуляционное спектральное представление выполнено с возможностью, для заранее определенного спектрального компонента, спектрального разложения последовательности спектральных значений блок за блоком, чтобы получить часть спектрального/модуляционного спектрального представления.

3. Устройство по п.2, в котором средство (212, 214, 28) для преобразования аудиосигнала из временного/спектрального представления в спектральное/модуляционное спектральное представление выполнено с возможностью спектрального разложения последовательности спектральных значений, для упомянутого заранее определенного спектрального компонента, посредством сначала умножения (212) последовательности спектральных значений блок за блоком на комплексную несущую так, что величина средней крутизны формы фазы последовательности спектральных значений уменьшается, чтобы получить демодулированные блоки спектральных значений, и затем посредством выполнения спектрального разложения демодулированных блоков спектральных значений блок за блоком, чтобы получить часть модифицированного спектрального/модуляционного спектрального представления

4. Устройство по п.3, в котором средство (212, 214, 28) для преобразования аудиосигнала из временного/спектрального представления в спектральное/модуляционное спектральное представление выполнено с возможностью, для заранее определенного спектрального компонента, спектрального разложения последовательности спектральных значений блок за блоком, изменения блок за блоком комплексной несущей, на которую умножается последовательность спектральных значений в зависимости от временного/спектрального представления аудиосигнала.

5. Устройство по п.4, в котором средство (212, 214, 28) для преобразования аудиосигнала из временного/спектрального представления в спектральное/модуляционное спектральное представление выполнено с возможностью изменения блок за блоком комплексной несущей посредством разворачивания фаз спектральных значений в последовательность спектральных значений блок за блоком для изменения комплексной несущей блок за блоком для получения формы фазы, определения средней крутизны формы фазы и определения комплексной несущей на основании средней крутизны.

6. Устройство по п.5, в котором средство (212, 214, 28) для преобразования аудиосигнала из временного/спектрального представления в спектральное/модуляционное спектральное представление выполнено с возможностью дополнительно определить часть на оси формы фазы из формы фазы и определить комплексную несущую дополнительно на основании этой части на оси.

7. Устройство по любому из пп.3-6, в котором средство для генерирования аудиосигнала, снабженного водяным знаком, содержит:

средство (34) для обратного преобразования аудиосигнала из модифицированного спектрального/модуляционного спектрального представления в модифицированное временное/спектральное представление, чтобы получить модифицированные демодулированные блоки спектральных значений для заранее определенного спектрального компонента; и

средство (218) для умножения модифицированных демодулированных блоков спектральных значений блок за блоком на несущую, являющуюся комплексно сопряженной к упомянутой комплексной несущей, чтобы получить модифицированные блоки спектральных значений; и

средство для объединения модифицированных демодулированных блоков спектральных значений, чтобы сформировать модифицированную последовательность спектральных значений, чтобы получить часть временного/спектрального представления аудиосигнала, снабженного водяным знаком.

8. Устройство по п.7, в котором средство для генерирования дополнительно содержит:

средство для обратного преобразования аудиосигнала, снабженного водяным знаком, из временного/спектрального представления во временное представление.

9. Устройство по п.1, в котором

средство для преобразования в спектральное/модуляционное спектральное представление содержит

средство (18, 20) для преобразования аудиосигнала во временное/спектральное представление посредством преобразования аудиосигнала блок за блоком; и

средство (26, 28) для преобразования аудиосигнала из временного/спектрального представления в спектральное/модуляционное спектральное представление,

причем средство (18, 20) для преобразования аудиосигнала во временное/спектральное представление выполнено с возможностью разлагать это временное/спектральное представление на множество спектральных компонентов, чтобы получить последовательность спектральных значений для каждого спектрального компонента, и средство (26, 28) для преобразования аудиосигнала из временного/спектрального представления в спектральное/модуляционное спектральное представление выполнено с возможностью, для заранее определенного спектрального компонента, спектрального разложения последовательности спектральных значений блок за блоком, чтобы получить часть спектрального/модуляционного спектрального представления, посредством операций: сначала подвергать последовательность спектральных значений вычислению (26) амплитуды, чтобы получить последовательность амплитуд спектральных значений, и затем преобразовать последовательность амплитуд спектральных значений блок за блоком в модуляционное спектральное представление (28), чтобы получить часть спектрального/модуляционного спектрального представления.

10. Устройство по п.9, в котором средство для генерирования аудиосигнала, снабженного водяным знаком, содержит:

средство (34) для обратного преобразования аудиосигнала из модифицированного спектрального/модуляционного спектрального представления в модифицированное временное/спектральное представление, чтобы получить модифицированную последовательность спектральных значений для заранее определенного спектрального компонента; и

средство (38) для повторного объединения модифицированной последовательности спектральных значений с фазами, которые основаны на фазах последовательности спектральных значений, чтобы получить часть временного/спектрального представления аудиосигнала, снабженного водяным знаком.

11. Устройство по любому из пп.1-6, 8-10, в котором средство для внедрения водяного знака в аудиосигнал в спектральном/модуляционном спектральном представлении настраивается для выполнения модификации в местоположениях спектрального/модуляционного спектрального представления, изменяющегося во времени.

12. Устройство по п.7, в котором средство для внедрения водяного знака в аудиосигнал в спектральном/модуляционном спектральном представлении настраивается для выполнения модификации в местоположениях спектрального/модуляционного спектрального представления, изменяющегося во времени.

13. Устройство по любому из пп.1-6, 8-10, 12, в котором средство для внедрения водяного знака в аудиосигнал в спектральном/модуляционном спектральном представлении настраивается для выполнения модификации в зависимости от аудиосигнала.

14. Устройство по п.7, в котором средство для внедрения водяного знака в аудиосигнал в спектральном/модуляционном спектральном представлении настраивается для выполнения модификации в зависимости от аудиосигнала.

15. Устройство по п.11, в котором средство для внедрения водяного знака в аудиосигнал в спектральном/модуляционном спектральном представлении настраивается для выполнения модификации в зависимости от аудиосигнала.

16. Устройство по любому из пп.1-6, 8-10, 12, 14, 15, в котором средство для внедрения водяного знака в аудиосигнал в спектральном/модуляционном спектральном представлении настраивается для выполнения модификации так, что из-за психо-акустических эффектов маскирования модификация не приводит к слышимому изменению аудиосигнала, снабженного водяным знаком.

17. Устройство по п.7, в котором средство для модификации настраивается для выполнения внедрения водяного знака в аудиосигнал в спектральном/модуляционном спектральном представлении так, что из-за психо-акустических эффектов маскирования модификация не приводит к слышимому изменению аудиосигнала, снабженного водяным знаком.

18. Устройство по п.11, в котором средство для модификации настраивается для выполнения внедрения водяного знака в аудиосигнал в спектральном/модуляционном спектральном представлении так, что из-за психо-акустических эффектов маскирования модификация не приводит к слышимому изменению аудиосигнала, снабженного водяным знаком.

19. Устройство по п.13, в котором средство для модификации настраивается для выполнения внедрения водяного знака в аудиосигнал в спектральном/модуляционном спектральном представлении так, что из-за психо-акустических эффектов маскирования модификация не приводит к слышимому изменению аудиосигнала, снабженного водяным знаком.

20. Устройство по любому из пп.1-6, 8-10, 12, 14, 15, 17-19, в котором водяной знак указывает информацию об авторе, идентификационный номер, характеризующий аудиосигнал, или номер покупателя.

21. Устройство по п.7, в котором водяной знак указывает информацию об авторе, идентификационный номер, характеризующий аудиосигнал, или номер покупателя.

22. Устройство по п.11, в котором водяной знак указывает информацию об авторе, идентификационный номер, характеризующий аудиосигнал, или номер покупателя.

23. Устройство по п.13, в котором водяной знак указывает информацию об авторе, идентификационный номер, характеризующий аудиосигнал, или номер покупателя.

24. Устройство по п.16, в котором водяной знак указывает информацию об авторе, идентификационный номер, характеризующий аудиосигнал, или номер покупателя.

25. Устройство для извлечения водяного знака из аудиосигнала, снабженного водяным знаком, содержащее:

средство для преобразования аудиосигнала, снабженного водяным знаком, из временного представления во временное/спектральное представление;

средство для преобразования аудиосигнала из временного/спектрального представления в спектральное/модуляционное спектральное представление;

средство для декодирования водяного знака из спектрального/модуляционного спектрального представления.

26. Способ введения водяного знака в аудиосигнал, содержащий этапы:

преобразование аудиосигнала из временного представления во временное/спектральное представление;

преобразование аудиосигнала из временного/спектрального представления в спектральное/модуляционное спектральное представление;

введение водяного знака в аудиосигнал в спектральном/модуляционном спектральном представлении посредством модификации значений модуляции в зависимости от водяного знака и формирования модифицированного спектрального/модуляционного спектрального представления; и

генерирования аудиосигнала, снабженного водяным знаком, во временном представлении или временном/спектральном представлении из спектрального/модуляционного спектрального представления через временное/спектральное представление во временное представление или из спектрального/модуляционного спектрального представления во временное/спектральное представление.

27. Способ извлечения водяного знака из аудиосигнала, снабженного водяным знаком, содержащий этапы:

преобразование аудиосигнала, снабженного водяным знаком, из временного представления во временное/спектральное представление;

преобразование аудиосигнала из временного/спектрального представления в спектральное/модуляционное спектральное представление; декодирование водяного знака из спектрального/модуляционного спектрального представления.

28. Машиночитаемый носитель, содержащий программный код, который при выполнении на программируемой компьютерной системе вынуждает компьютер выполнять способ по п.26.

29. Машиночитаемый носитель, содержащий программный код, который при выполнении на программируемой компьютерной системе вынуждает компьютер выполнять способ по п.27.

Описание изобретения к патенту

Описание

Настоящее изобретение относится к схеме введения водяного знака в информационный сигнал, такой как, например, аудиосигнал.

С увеличением распространения Интернет музыкальное пиратство также значительно увеличилось. Части музыкальных произведений или обычные аудиосигналы предлагаются на многих сайтах в Интернет для загрузки. Только в очень немногих случаях соблюдаются авторские права. В частности, очень редко автора запрашивают о разрешении сделать его или ее работу доступными. Еще менее часто автору выплачивают отчисления в виде платы за законное копирование. Дополнительно, работы копируют неконтролируемым образом, что в большинстве случаев также происходит без соблюдения авторских прав.

Когда части музыкальных произведений законно куплены через Интернет из предусмотренных частей музыкальных произведений, провайдер будет обычно формировать заголовок или блок данных, добавляемый к части музыкального произведения, в который введена информация об авторском праве, такая как, например, номер покупателя, причем номер покупателя однозначно относится к текущему покупателю. Также известно введение информации о разрешении копирования в этот заголовок, сигнализирующей о наиболее значимых видах авторских прав, таких, например, что копирование текущей части запрещено в целом, что копирование текущей части разрешается только однократно, что копирование текущей части является полностью бесплатным и т.д. Покупатель имеет декодер или управляющее программное обеспечение, считывающее заголовок и соблюдающее дозволенные действия, например, разрешающее сделать только единственную копию и отказывающее в дальнейшем копировании, или подобное.

Эта концепция соблюдения авторских прав, однако, будет работать только для покупателей, действующих законно. Незаконные покупатели обычно имеют значительный потенциал творческого потенциала для "взлома" частей музыкальных произведений, снабженных заголовком. Здесь недостаток процедуры, описанной для защиты авторских прав, становится очевидным. Такой заголовок может просто быть удален. Альтернативно, незаконный пользователь может также модифицировать отдельные записи в заголовке, чтобы преобразовать запись "копирование запрещено" в запись "копирование полностью бесплатно". Также выполнимо для незаконного покупателя удалить свой собственный номер покупателя из заголовка и затем предлагать часть музыкального произведения на его или ее собственной или другой домашней странице в Интернет. С этого момента больше невозможно определить незаконного покупателя, так как его или ее номер клиента был удален.

Способ кодирования для введения неслышимого сигнала данных в аудиосигнал известен из WO 97/33391. Таким образом, аудиосигнал, в который должен быть введен неслышимый сигнал данных, который здесь упоминается как водяной знак, преобразуется в частотную область, чтобы определить порог маскирования аудиосигнала посредством психоакустической модели. Этот сигнал данных, который должен быть введен в аудиосигнал, модулируется псевдошумовым сигналом, чтобы обеспечить сигнал данных с расширением по частоте. Сигнал данных с расширением по частоте затем взвешивается психоакустическим порогом маскирования так, что энергия сигнала данных с расширением по частоте будет всегда ниже порога маскирования. Наконец, взвешенный сигнал данных накладывается на аудиосигнал, который формируется как аудиосигнал, в который введен сигнал данных, являющийся неслышимым. С одной стороны, этот сигнал данных может использоваться для добавления информации автора к аудиосигналу, и, альтернативно, этот сигнал данных может использоваться для характеристики аудиосигналов для простоты идентификации потенциальных пиратских копий, так как каждый носитель звука, например в форме компакт-диска, снабжается отдельным тэгом при изготовлении.

Внедрение водяного знака в несжатый аудиосигнал, в котором аудиосигнал является неподвижным во временной области или в представлении во временной области, также описано в C. Neubauer, J. Herre: "Digital Watermarking and its Influence on Audio Quality", 105 ^th AES Convention, San Francisco 1998, Preprint 4823 и в DE 196 40 814.

Однако аудиосигналы часто уже присутствуют в качестве сжатых потоков аудиоданных, которые, например, были подвергнуты обработке согласно одному из способов MPEG аудио. Если один из упомянутых выше способов внедрения водяного знака использовался, чтобы снабдить части музыкального произведения водяным знаком перед доставкой его покупателю, они будут должны быть полностью декомпрессированы перед введением водяного знака, чтобы снова получить последовательность аудиозначений во временной области. Такое дополнительное декодирование перед внедрением водяного знака, однако, означает, что помимо высокой сложности вычислений имеется опасность появления эффектов тандемного кодирования, имеющего место при кодировании снова, когда эти аудиосигналы, снабженные водяными знаками, кодируются заново.

Вот почему были разработаны схемы для внедрения водяного знака в уже сжатый аудиосигнал или сжатые битовые потоки аудио, которые, помимо прочего, имеют преимущество в том, что они требуют низкой сложности вычислений, так как битовый поток аудио, который должен быть снабжен водяным знаком, не должен быть декодирован полностью, то есть, в частности, применение блоков фильтров анализа и синтеза к аудиосигналу может быть опущено. Другими преимуществами этих способов, которые могут применяться к сжатым сигналам звуковой частоты, являются высокое качество аудио, так как шум квантования и шум водяного знака могут быть отрегулированы точно друг к другу, высокая робастность, так как водяной знак не "ослабляется" последующим аудиокодером, и разрешение подходящего выбора параметров расширения по спектру, так что может быть достигнута совместимость с ИКМ (импульсно-кодовой модуляцией) способами создания водяного знака или схемами внедрения, работающими над несжатыми аудиосигналами. Краткий обзор схем внедрения водяных знаков в уже сжатые аудиосигналы может быть найден в документе C. Neubauer, J. Herre: "Audio Watermarking of MPEG-2 AAC Bit Streams", 108^th AES Convention, Paris 2000, Preprint 5101 и дополнительно в DE 10129239 C1.

Другой улучшенный способ введения водяного знака в аудиосигналы относится к схемам, выполняющим внедрение, в то время как сжатие аудиосигнала еще не завершено. Схемы внедрения этого вида имеют, помимо прочего, преимущество в низкой сложности вычислений, так как, посредством совместного выполнения внедрения и кодирования водяного знака, некоторые операции, такие как, например, вычисление модели маскирования и преобразование аудиосигнала в спектральный диапазон, должны быть выполнены только однажды. Другие преимущества включают в себя более высокое качество аудио, так как шум квантования и шум водяного знака могут быть настроены точно друг к другу, высокую робастность, так как водяной знак не "ослабляется" последующим звуковым кодером, и возможность подходящего выбора параметров расширения по спектру для достижения совместимости со способом ИКМ водяного знака. Краткий обзор внедрения/кодирования сжатого водяного знака может, например, быть найден в документе Siebenhaar, Frank; Neubauer, Christian; Herre, Jürgen: "Combined Compression/Watermarking for Audio Signals", in 110 ^th AES Convention, Amsterdam, preprint 5344; C. Neubauer, R. Kulessa и J. Herre: "A Compatible Family of Bitstream Watermarking Systems for MPEG-Audio", 110^th AES Convention, Amsterdam, май 2000, Preprint 5346, и в DE 199 47 877.

Подводя итог, известно создание водяных знаков для кодированных и не кодированных аудиосигналов различными способами. Используя водяные знаки, дополнительные данные могут быть переданы в аудиосигнале робастным и неслышимым образом. Сегодня, как показано выше, имеются различные способы внедрения водяного знака, которые отличаются по области внедрения, такой как, например, временная область, частотная область и т.д., и типу внедрения, такому как, например, квантование, стирание отдельных значений и т.д. Обобщенные описания существующих способов могут быть найдены в документе M. van der Veen, F. Brukers и другие: "Robust, Multi-Functional and High-Quality Audio Watermarking Technology", 110 ^th AES Convention, Amsterdam, May 2002, Preprint 5345; Jaap Haitsma, Michiel van der Veen, Ton Kalker и Fons Bruekers: "Audio Watermarking for Monitoring and Copy Protection", ACM Workshop 2000, Los Angeles, и в DE 19640814, упомянутом выше.

Хотя типы схем для внедрения водяного знака в аудиосигналы, кратко описанные выше, уже хорошо разработаны, имеется недостаток в том, что существующие способы формирования водяного знака почти исключительно сосредоточены на задаче неслышимого внедрения водяного знака в первоначальный аудиосигнал с высокой частотой введения и высокой робастностью, то есть имея характеристики водяного знака, все еще являющегося пригодным для использования после изменений сигнала. Таким образом, для большинства областей применения главной задачей была робастность. Наиболее широко распространенный способ для снабжения аудиосигналов водяным знаком, то есть модуляция по спектру, как описано, например, в WO 97/33391, упомянутом выше, является, как считается, очень устойчивым и безопасным.

Из-за его популярности и того факта, что принципы способов создания водяного знака на основании модуляции с расширением по спектру вообще известны, существует опасность того, что становятся известными способы, посредством которых, наоборот, водяные знаки из аудиосигналов, снабженных водяными знаками с помощью этих способов, могут быть разрушены. По этой причине очень важно разработать новые высококачественные способы, которые могут служить в качестве альтернативы для модуляции с расширением по спектру.

Следовательно, задачей настоящего изобретения является создание полностью новой и, таким образом, также более безопасной схемы введения водяного знака в информационный сигнал.

Эта задача решается устройствами согласно п.п.1 или 22 формулы изобретения и способами согласно п.п.23 или 24 формулы изобретения.

Согласно изобретательной схеме введения водяного знака в информационный сигнал информационный сигнал сначала передается из представления во времени в спектральное/модуляционное спектральное представление. Затем информационным сигналом манипулируют в спектральном/модуляционном спектральном представлении в зависимости от водяного знака, который должен быть введен, чтобы получить модифицированное спектральное/модуляционное спектральное представление, и затем информационный сигнал, снабженный водяным знаком, формируют на основании модифицированного спектрального/модуляционного спектрального представления.

Согласно изобретательной схеме для извлечения водяного знака из информационного сигнала, снабженного водяным знаком, информационный сигнал, снабженный водяным знаком, соответственно передают из представления во времени в спектральное/модуляционное спектральное представление, после чего водяной знак получают на основании спектрального/модуляционного спектрального представления.

Преимуществом настоящего изобретения является то, что вследствие того, что согласно настоящему изобретению водяной знак внедряют и получают в спектральном/модуляционном спектральном представлении и диапазоне, традиционные корреляционные атаки, которые используются в способах создания водяного знака на основании модуляции с расширением по спектру, не будут легко успешны. Здесь имеется положительный эффект в том, что анализ сигнала в спектральном/модуляционном спектральном диапазоне все еще является новой основой для потенциальных нападающих.

Кроме того, изобретенное внедрение водяного знака в спектральном/модуляционном спектральном диапазоне или в двумерном модуляционном спектральном/спектральном уровне предлагает значительно большее количество вариаций внедрения параметров, таких, например, при которых "местоположения" внедрений в этом уровне локализованы, чем было до сих пор. Выбор соответствующих местоположений может, таким образом, также иметь место с вариацией во времени.

В случае аудиосигнала в качестве информационного сигнала дополнительно также возможно внедрять водяной знак в спектральном/модуляционном спектральном диапазоне, чтобы внедрить водяной знак неслышимым образом без сложного вычисления обычных психоакустических параметров типа, например, порога слышимости, чтобы таким образом, тем не менее, гарантировать неслышимость водяного знака при небольшой сложности. Модификация значений модуляции здесь может быть, например, выполнена с использованием маскирующих эффектов в спектре частот модуляции.

Предпочтительные варианты осуществления настоящего изобретения подробно описаны ниже со ссылками на прилагаемые сопроводительные чертежи, на которых:

Фиг.1 - блок-схема устройства для внедрения водяного знака в аудиосигнал согласно варианту осуществления настоящего изобретения;

Фиг.2 - схематическая диаграмма, приведенная для иллюстрирования преобразования аудиосигнала в частотную/модуляционную частотную область, на котором основано устройство согласно фиг.1;

Фиг.3 - блок-схема устройства для извлечения водяного знака, внедренного устройством согласно фиг.1 из аудиосигнала, снабженного водяным знаком;

Фиг.4 - блок-схема устройства для внедрения водяного знака в аудиосигнал согласно другому варианту осуществления настоящего изобретения; и

Фиг.5 - блок-схема устройства для извлечения водяного знака, внедренного устройством согласно фиг.4 из аудиосигнала, снабженного водяным знаком.

Ниже схема внедрения водяного знака в аудиосигнал описана со ссылками на фиг.1-3, на которых сначала входящий аудиосигнал или сигнал ввода аудио, представленный во временной области или временном представлении, преобразуется блок за блоком в представление "время/частота" (время/частотное) и из него - в представление "частота/частота модуляции" (частотное/модуляционно частотное). Водяной знак затем будет введен в аудиосигнал в этом представлении посредством модификации значений модуляции представления в области "частота/частота модуляции" в зависимости от водяного знака. Модифицированный таким образом аудиосигнал затем снова преобразуют во время/частотную область и из него - во временную область.

Внедрение водяного знака согласно схеме на фиг.1-3 выполняется устройством согласно фиг.1, которое ниже называется блоком внедрения водяного знака и обозначено цифровой ссылочной позицией 10. Блок 10 внедрения включает в себя вход 12 для приема входного сигнала аудио, через который подлежащий внедрению водяной знак должен быть введен. Блок 10 внедрения принимает водяной знак, такой как, например, номер покупателя, на входе 14. Кроме входов 12 и 14 блок 10 внедрения включает в себя выход 16 для выдачи выходного сигнала, снабженного водяным знаком.

По своей внутренней структуре блок 10 внедрения включает в себя средство 18 стробирования (организации окна) и первый блок 20 фильтров, которые соединены последовательно после входа 12 и являются ответственными за преобразование аудиосигнала на входе 12 из временной области 22 во время/частотную область 24 с помощью обработки "блок за блоком". После выхода блока 20 фильтров следует средство 26 обнаружения амплитуды/фазы для разделения представления в области "время/частота" аудиосигнала на амплитуду и фазу. Второй блок 28 фильтров соединен со средством 26 обнаружения для получения амплитудной части представления в области "время/частота" и преобразует эту амплитудную часть в область 30 "частота/частота модуляции" (частотную/модуляционно частотную область), чтобы сформировать представление "частота/частота модуляции" аудиосигнала 12 таким образом. Блоки 18, 20, 26, 28, таким образом, представляют анализирующую часть блока 10 внедрения, обеспечивающую преобразование аудиосигнала в представление "частота/частота модуляции".

Средство 32 внедрения водяного знака соединено со вторым блоком 28 фильтров для приема представления "частота/частота модуляции" аудиосигнала 12 от него. Другой вход средства 32 внедрения водяного знака соединен с входом 14 блока 10 внедрения. Средство 32 внедрения водяного знака формирует модифицированное представление "частота/частота модуляции" (модифицированное частотно/модуляционно частотное представление).

Выход средства 32 внедрения водяного знака соединен с входом блока 34 фильтров, обратных второму блоку 28 фильтров, который является ответственным за обратное преобразование к области 24 "время/частота". Средство 36 обработки фазы соединено со средством 26 обнаружения для получения фазовой части представления в области 24 "время/частота" аудиосигнала и передачи ее в манипулированной форме, как описано ниже, к средству 38 повторного объединения, которое дополнительно соединено с выходом блока 34 обратных фильтров, чтобы получить модифицированную амплитудную часть представления "время/частота" аудиосигнала. Средство 38 повторного объединения объединяет фазовую часть, модифицированную средством 36 обработки фазы, и амплитудную часть представления в области "время/частота" аудиосигнала, модифицированного водяным знаком, и выдает результат, то есть представление "время/частота" аудиосигнала, снабженного водяным знаком, на блок 40 фильтров, обратных первому блоку 20 фильтров. Средство 42 стробирования подключено между выходом блока 40 обратных фильтров и выходом 16. Часть компонентов 34, 38, 40, 42 может рассматриваться как синтезирующая часть блока 10 внедрения, так как она ответственна за формирование аудиосигнала, снабженного водяным знаком, во временном представлении из модифицированного представления "частота/частота модуляции".

Установка блока 10 внедрения описана выше, а его режим функционирования описан ниже.

Внедрение начинается с преобразования аудиосигнала со входа 12 из временного представления в представление "время/частота" средствами 18 и 20, где предполагается, что входной аудиосигнал на входе 12 присутствует в типе, дискретизированном с помощью заранее определенной частоты дискретизации, как последовательность выборок или аудиозначений. Если аудиосигнал присутствует еще не в такой дискретизированной форме, соответствующий аналого-цифровой преобразователь может использоваться в качестве средства осуществления выборок.

Средство 18 стробирования (организации окна) принимает аудиосигнал и извлекает из него последовательность блоков аудиозначений. Для этого средство 18 стробирования (организации окна) объединяет заранее определенное число последовательных аудиозначений аудиосигнала со входа 12 каждый раз, чтобы сформировать временные блоки, и перемножает или стробирует (выделяет) эти блоки, представляющие временное окно, из аудиосигнала 12 посредством функции организации окна или взвешивания, такой как, например, синусоидальное окно, окно KBD или подобные. Этот процесс называют "стробированием" и в качестве примера выполняют так, что отдельные временные блоки относятся к временным секциям аудиосигнала, перекрывающим друг друга, например, на половину так, чтобы каждое аудиозначение было распределено по блокам два раза.

Процесс стробирования средством 18 является примерным, проиллюстрированным более подробно на фиг.2 для случая перекрытия на 50%. Фиг.2 иллюстрирует с помощью стрелки 50 последовательность аудиозначений в той последовательности во времени, в какой они подаются на вход 12. Они представляют аудиосигнал 12 во временной области 22. Индекс n на фиг.2 должен быть отнесен к индексу аудиозначений, увеличивающемуся в направлении стрелки, 52 обозначает функцию стробирования (организации окна), которую средство 18 стробирования применяет к временным блокам. Первые две функции стробирования для первых двух временных блоков обозначаются на фиг.2 индексом 2m и 2m+1 соответственно. Как можно видеть, временной блок 2m и последующий временной блок 2m+1 перекрываются на половину или 50%, и, таким образом, каждый, в общем, имеет половину их аудиозначений. Блоки, сформированные средством 18 и переданные на блок 20 фильтров, соответствуют взвешиванию аудиозначений, принадлежащих к временному блоку, функциональным средством 52 стробирования (организации окна) или их перемножению.

Блок 20 фильтров принимает временные блоки или стробированные блоки аудиозначений, как обозначено на фиг.2 стрелками 54, и преобразует их посредством преобразования 52 "время/частота" блок за блоком в спектральное представление. Таким образом, блок фильтров выполняет заранее определенное разделение спектрального диапазона на заранее определенные диапазоны частот или спектральные компоненты, в зависимости от конструкции. Спектральное представление, например, включает в себя спектральные значения, имеющие частоты, следующие одна за другой от нулевой частоты до максимальной аудиочастоты, на которой основан аудиосигнал и которая, например, равна 44,1 кГц. Фиг.2 представляет примерный случай спектрального разделения на десять поддиапазонов.

Преобразование "блок за блоком" обозначено на фиг.2 множеством стрелок 58. Каждая стрелка соответствует преобразованию одного временного блока в частотную область. Например, временной блок 2m преобразуют в блок спектральных значений 62, как обозначено на фиг.2 столбцом прямоугольников. Каждое спектральное значение относится к различному частотному компоненту или различному диапазону частот, при этом на фиг.2 направление, вдоль которого отложена частота k, должно быть обозначено осью 64. Как упомянуто выше, предполагается, что имеются только десять спектральных компонентов, однако при этом это количество является только иллюстративным примером и в действительности вероятно, должно быть выше.

Так как блок 20 фильтров формирует один блок 60 спектральных значений 62 в расчете на временной блок, получают несколько последовательностей спектральных значений 62 через какое-то время, а именно, одно на спектральный компонент k или поддиапазон k. На фиг.2 эти временные последовательности указаны в направлении линии, которая обозначена стрелкой 66. Стрелка 66, таким образом, представляет временную ось представления "время/частота", в то время как стрелка 64 представляет частотную ось этого представления. "Частота выборки" или расстояние повторения спектральных значений в пределах отдельных поддиапазонов соответствует частоте или расстоянию повторения временных блоков из аудиосигнала. Частота повторения временных блоков, в свою очередь, соответствует удвоенной частоте выборки аудиосигнала, поделенной на количество аудиозначений в расчете на временной блок. Таким образом, стрелка 66 соответствует размерности времени настолько, насколько это символизирует последовательность во времени временных блоков.

Как можно видеть, матрица 68 спектральных значений 62, представляющих собой представление 24 в области "время/частота" аудиосигнала в отношении длительности этих временных блоков, формирует для некоторого количества, здесь, например, количества, равного 8, последовательные временные блоки.

Преобразование 56 "время/частота", выполняемое блок за блоком над временными блоками блоком 20 фильтров, является, например, преобразованием DFT (дискретным преобразованием Фурье, ДПФ), DCT (дискретным косинусным преобразованием, ДКП), MDCT (модифицированным дискретным косинусным преобразованием, МДКП) или подобным. В зависимости от такого преобразования отдельные спектральные значения в пределах блока 60 разделяются на некоторые поддиапазоны. Для каждого поддиапазона каждый блок может содержать более одного спектрального значения 62. В целом, результат в отношении последовательности временных блоков является последовательностью спектральных значений, представляющих временную форму соответствующего поддиапазона и на фиг.2 находящихся в направлении линии 84 в расчете на поддиапазон или спектральный компонент.

Блок 20 фильтров передает блоки 60 спектральных значений 62 к средству 26 обнаружения амплитуды/фазы блок за блоком. Последний обрабатывает комплексные спектральные значения и передает только их амплитуды блоку 28 фильтров. Однако он передает фазы спектральных значений 62 к средству 36 обработки фаз.

Блок 28 фильтров обрабатывает последовательности 70 амплитуд спектральных значений 62 в расчете на поддиапазон аналогично блоку 20 фильтров, а именно посредством преобразования "блок за блоком" этих последовательностей блок за блоком в спектральное представление или модуляционно частотное представление, снова предпочтительно используя стробированные и перекрывающиеся блоки, причем основные блоки всех поддиапазонов предпочтительно являются ориентированными во времени по отношению друг к другу одинаково. Отличием является то, что блок 28 фильтров обрабатывает N спектральных блоков 60 каждой амплитуды спектральных значений одновременно или совместно. N спектральных блоков 60 амплитуд спектральных значений формируют матрицу 68 из амплитуд спектральных значений. Если имеется, например, М поддиапазонов, блок 28 фильтров будет обрабатывать эти амплитуды спектральных значений в матрицы N·M амплитуд спектральных значений каждую. Фиг.3 иллюстрирует примерный случай, где M=N, в то время как, например, принято на фиг.2, что N=10 и M=8. Передача амплитудной части такой матрицы 68 амплитуд спектральных значений к блоку 28 фильтров обозначена на фиг.2 стрелками 72.

После приема амплитудной части N последовательных спектральных блоков или матрицы 68 блок 28 фильтров преобразует - отделяет для каждого поддиапазона - блоки амплитуд спектральных значений соответствующих поддиапазонов, то есть строки в матрице 58, из временной области 66 в частотное представление, в котором, как упомянуто выше, амплитуды спектральных значений могут быть стробированы, чтобы избежать эффектов наложения. Отличием является то, что блок 28 фильтров преобразует каждый из этих блоков амплитуды спектральных значений из последовательностей 70, представляющих временную форму соответствующего поддиапазона, в спектральное представление и таким образом формирует один блок значений модуляции (модуляционных значений) в расчете на поддиапазон, которые на фиг.2 обозначены 74. Каждый блок 74 содержит несколько значений модуляции, которые не проиллюстрированы на фиг.2. Каждое из этих значений модуляции в пределах блока 74 связано с различной частотой модуляции, которое на фиг.2 должно быть отложено по оси 76, которая, таким образом, представляет ось частоты модуляции представления "частота/частота модуляции". Упорядочивая блоки 74 в зависимости от частоты поддиапазона по оси 78, матрица 80 значений модуляции формирует представление в области "частота/частота модуляции" аудиосигнала на входе 12 в временной секции, связанной с матрицей 68.

Как упомянуто выше, во избежание артефактов блок 28 фильтров или средство 26 может содержать внутреннее средство организации окна (стробирования) (не показано), подвергающее, в расчете на поддиапазон, преобразованные блоки, то есть строки матрицы 68 спектральных значений, стробированию посредством функции 82 стробирования до соответствующего преобразования 80 "время/частота модуляции" блоком 28 фильтров в область 30 частоты модуляции, чтобы получить блоки 74.

Снова явно указывается, что последовательность матриц 80, которые со стробированием с 50% перекрытием, как в качестве примера упомянуто выше, перекрывается во времени на 50%, обрабатывается способом, описанным выше. Но отличием является то, что блок 28 фильтров формирует матрицу 80 для последовательных N временных блоков так, что каждая из матриц 80 относится к N временным блокам, которые перекрываются наполовину, как, например, обозначено на фиг.2 посредством функции 84 разбиения на окна, которая представляет стробирование для следующей матрицы.

Значения модуляции представления 30 в области "частота/частота модуляции", когда выдаются блоком 28 фильтров, подаются на средство 32 внедрения водяного знака. Средство 32 внедрения водяного знака затем модифицирует матрицу 80 модуляции или одно или несколько значений модуляции матриц 80 модуляции аудиосигнала 12. Модификация, выполненная средствами 32, может, например, иметь место посредством мультипликативного взвешивания отдельных сегментов "частота модуляции/частота" спектра поддиапазона модуляции или представления в области "частота/частота модуляции", то есть посредством взвешивания значений модуляции в некоторой области пространства "частота/частота модуляции", заданного осями 76 и 78. Также эта модификация может включать в себя установку отдельных сегментов или значения модуляции равными некоторым значениям.

Мультипликативное взвешивание или некоторые значения могут зависеть от водяного знака, полученного на входе 14 заранее определенным способом. Таким образом, установка отдельных значений модуляции или сегментов значений модуляции равными некоторым значениям может происходить адаптивным к сигналу способом, то есть дополнительно в зависимости от самого аудиосигнала 12.

Отдельные сегменты 2-мерного спектра поддиапазона модуляции могут быть получены, с одной стороны, посредством подразделения оси 78 акустической частоты на частотные группы, с другой стороны, дальнейшая сегментация может быть выполнена посредством подразделения оси 76 частоты модуляции на группы частот модуляции. На фиг.1 иллюстрируется пример сегментации частотной оси на 5 групп и оси частоты модуляции на 4 группы, что приводит к получению 20 сегментов. Темные сегменты, например, указывают те местоположения (элементы), где средство 32 модифицирует матрицу 80 модуляции, причем, как упомянуто выше, эти местоположения (элементы), используемые для модификации, могут изменяться во времени. Местоположения предпочтительно выбраны так, что с помощью эффектов маскировки изменения в аудиосигнале в представлении "частота/частота модуляции" являются неслышимыми или едва слышимыми.

После того, как средство 32 модифицировало матрицу 80 модуляции, оно посылает модифицированные значения модуляции матрицы 80 модуляции на блок 34 обратных фильтров, который выполняет обратное преобразование посредством преобразования, которое является обратным к таковому для блока 28 фильтров, то есть, например, IDFT (обратное дискретное преобразование Фурье, ОДПФ), IFFT (обратное быстрое преобразование Фурье, ОБПФ), IDCT (обратное дискретное косинусное преобразование, ОДКП), IMDCT (обратное модифицированное дискретное косинусное преобразование, ОМДКП) или подобное, матрицы 80 модуляции в представление 24 в области "время/частота" на основе блоков 74, то есть разделенной в расчете на поддиапазон, вдоль оси 76 частоты модуляции, чтобы таким образом получить модифицированные спектральные значения амплитудной части. Отличием является то, что блок 34 обратных фильтров преобразует каждый блок модифицированных значений 74 модуляции, принадлежащих некоторому поддиапазону посредством обратного преобразования для преобразования 86 в последовательность спектральных значений амплитудной части в расчете на поддиапазон, результатом согласно вышеупомянутому варианту осуществления является матрица N×М спектральных значений амплитудной части.

Спектральные значения амплитудной части из блока 34 обратных фильтров будут поэтому всегда относиться к двумерным блокам, или матрицам, из потока последовательностей спектральных значений, конечно, в форме, модифицированной с помощью водяного знака. Согласно примерному варианту осуществления эти блоки перекрываются на 50%. Средство (не показано), например, обеспеченное в средстве 34, затем компенсирует стробирование, в этом примерном случае 50% перекрытия, посредством суммирования перекрывающихся повторно комбинированных (рекомбинированных) спектральных значений последовательных матриц спектральных значений, полученных посредством обратного преобразования последовательных матриц модуляции. Здесь потоки или последовательности модифицированных спектральных значений формируются снова из отдельных матриц модифицированных спектральных значений, а именно одна в расчете на поддиапазон. Эти последовательности соответствуют только амплитудной части немодифицированных последовательностей 70 спектральных значений, которые выданы средством 20.

Средство 38 повторного объединения (рекомбинирования) комбинирует спектральные значения амплитудной части блока 34 обратных фильтров, объединенных, чтобы сформировать потоки поддиапазона с фазовыми частями спектральных значений 62, которые были изолированы средством 26 обнаружения непосредственно после преобразования 56 посредством первого блока 20 фильтров, но в форме, модифицированной средством 36 обработки фаз. Средство 36 обработки фаз модифицирует фазовые части способом, отделенным от внедрения водяного знака средством 32, но может быть, в зависимости от этого внедрения, таким, что обнаруживаемость водяного знака в системе детектора или декодера, которая описана ниже со ссылками на фиг.3, является лучшей для обнаружения и/или акустической маскировки сигнала водяного знака в выходном сигнале, снабженном водяным знаком, который должен быть выведен с выхода 16, и, таким образом, неслышимость водяного знака улучшается. Рекомбинация может быть выполнена средством 38 повторного объединения, матрица за матрицей, для матрицы 68 или непрерывно по последовательностям модифицированных спектральных значений амплитудной части в расчете на поддиапазон. Необязательная зависимость манипуляции фазовой части представления "время/частота" аудиосигнала на входе 12 в отношении манипуляции представления "частота/частота модуляции" с помощью средства 32 манипуляции иллюстрируется на фиг.1 стрелкой 88, обозначенной пунктирной линией. Рекомбинация, например, выполняется посредством суммирования фазы спектрального значения к фазовой части соответствующего модифицированного спектрального значения, которое выдается блоком 34 фильтров.

Таким образом, средство 38 формирует последовательности спектральных значений в расчете на поддиапазон подобно тому, как получают непосредственно после блока 20 фильтров из неизменного аудиосигнала, а именно в виде последовательности 70, но в форме, измененной водяным знаком, так чтобы спектральные значения, повторно объединенные (рекомбинированные) и выданные средством 38 и модифицированные в отношении амплитудной части, представляли собой представление "время/частота" аудиосигнала, снабженного водяным знаком.

Блок 40 обратных фильтров, таким образом, снова получает последовательности модифицированных спектральных значений, а именно одно в расчете на поддиапазон. Отличием является то, что блок 40 обратных фильтров получает один блок модифицированных спектральных значений на цикл, то есть одно частотное представление аудиосигнала, снабженного водяным знаком, относящееся к одной временной секции. Соответственно блок 40 фильтров выполняет преобразование, обратное к преобразованию 56 блока 20 фильтров для каждого такого блока спектральных значений, то есть спектральных значений, размещаемых вдоль частотной оси 70, чтобы получить в качестве результата модифицированные стробированные временные блоки или временные блоки стробированных модифицированных аудиозначений. Последующее средство 42 стробирования компенсирует стробирование, которое было введено средством 18 стробирования, посредством суммирования аудиозначений, соответствующих одно другому в перекрывающихся областях, результатом чего является выходной сигнал, снабженный водяным знаком, в представлении 22 во временной области на выходе 16.

Выше описано внедрение водяного знака согласно варианту осуществления согласно фиг.1-2, ниже описано устройство со ссылками на фиг.3, которое является подходящим для успешного анализа выходного сигнала, снабженного водяным знаком и сформированного блоком 10 внедрения, для того чтобы снова восстановить или детектировать из него водяной знак, который содержится в выходном сигнале, снабженном водяным знаком, вместе с полезной аудиоинформацией способом, который является предпочтительно неслышимым для человеческого уха.

Декодер водяного знака согласно фиг.3, который в целом обозначен ссылочной позицией 100, включает в себя вход 112 аудиосигнала для приема аудиосигнала, снабженного водяным знаком, и выход 114 для выдачи водяного знака, извлеченного из аудиосигнала, снабженного водяным знаком. После входа 112 имеются соединенные последовательно и в порядке, перечисленном ниже, средство 118 стробирования, блок 120 фильтров, средство 126 определения амплитуды/фазы и второй блок 128 фильтров, которые по своим функциям и режимам работы соответствуют блокам 18, 20, 26 и 28 блока 10 внедрения. Это означает, что аудиосигнал, снабженный водяным знаком, на входе 112 преобразуется средством 118 стробирования и блоком 120 фильтров из временной области 122 во временную частотную область 124, из которой осуществляется преобразование аудиосигнала на входе 112 в область 130 "частота/частота модуляции" средством 126 обнаружения и вторым блоком 128 фильтров. Аудиосигнал, снабженный водяным знаком, затем подвергают той же самой обработке средствами 118, 120, 126 и 128, как описано со ссылками на фиг.2 в отношении первоначального аудиосигнала. Результирующие матрицы модуляции, однако, не полностью соответствуют тем, что выданы в блок 10 внедрения средством 32 внедрения водяного знака, так как некоторые из частей модуляции изменены в отношении модифицированных матриц модуляции, когда выдаются средством 32, посредством рекомбинаций фазы средства 38 повторного объединения, и являются, таким образом, представленными в несколько измененной форме в выходном сигнале, снабженном водяным знаком. Удаление стробирования или OLA также изменяет части модуляции вплоть до возобновленного спектрального анализа модуляции в декодере 100.

Средство 132 декодирования водяного знака, подсоединенное к блоку 128 фильтров, для получения представления в области "частота/модуляция" входного сигнала, снабженного водяным знаком, или матриц модуляции обеспечивается для извлечения водяного знака, первоначально введенного блоком 10 внедрения, из этого представления и выдачи его на выход 114. Извлечение выполняется в отношении заранее определенных местоположений (элементов) матриц модуляции, соответствующих тем, что были использованы блоком 10 внедрения для выполнения внедрения. Соответствие выбора местоположений обеспечивается, например, соответствующей стандартизацией.

Изменения матриц модуляции, вызванные по сравнению с матрицами модуляции, которые были сформированы в блоке 10 внедрения в средстве 32, когда они подаются на средство 132 декодирования водяного знака, могут быть также вызваны входным сигналом, снабженным водяным знаком, так или иначе ухудшенным между его формированием или выводом на выход 16 и обнаружением детектором 100 или приемом на входе 112, например, более грубым квантованием аудиозначений или подобным.

Перед описанием другого варианта осуществления схемы внедрения водяного знака в аудиосигнал со ссылками на фиг.4 и 5, которая относительно схемы, описанной со ссылками на фиг.1-3, отличается только типом и способом преобразования аудиосигнала из временной области в область "частота/частота модуляции", ниже описаны примерные области применения или пути, которыми схема внедрения, описанная выше, может использоваться полезным образом. Следующие примеры, таким образом, например, относятся к областям применения в мониторинге вещания и в системах DRM (цифрового управления правами), таких как, например, обычные системы WM (формирования водяного знака). Возможности применения, описанные ниже, однако, применимы не только к варианту осуществления согласно фиг.4 и 5, которые описаны ниже.

С одной стороны, вариант осуществления внедрения водяного знака в аудиосигнал, описанный выше, может использоваться, чтобы доказать авторство аудиосигнала. Первоначальный аудиосигнал, приходящий на вход 12, например, является частью музыкального произведения. При создании частей музыкального произведения авторская информация в форме водяного знака может быть введена в аудиосигнал блоком 10 внедрения, результатом является аудиосигнал, снабженный водяным знаком, на выходе 16. Если третье лицо утверждает, что является автором соответствующей части музыкального произведения или заголовка музыкального произведения, доказательство фактического авторства может быть сделано, используя водяной знак, который может быть извлечен снова посредством детектора 100 из аудиосигнала, снабженного водяным знаком, и, в противном случае, неслышимого при нормальном воспроизведении.

Другое возможное использование внедрения водяного знака, проиллюстрированное выше, должно использовать водяные знаки для регистрации программ вещания телевидения и радио. Программы вещания часто разделяются на различные части, такие как, например, отдельные названия музыкальных произведений, радио воспроизведение, коммерческие передачи или подобные. Автор аудиосигнала или по меньшей мере человек, которому разрешено и который желает зарабатывать деньги на некотором музыкальном произведении или рекламе, может снабдить его или ее аудиосигнал водяным знаком посредством блока 10 внедрения и сформировать аудиосигнал, снабженный водяным знаком, доступный оператору вещания. Этим способом музыкальные произведения или коммерческие передачи можно снабжать соответствующим однозначным водяным знаком. Для регистрации радиовещательной программы может, например, использоваться компьютер, проверяющий радиовещательный сигнал на наличие водяного знака и регистрирующий водяные знаки. Используя список обнаруженных водяных знаков, список вещания для соответствующей станции вещания может быть легко сформирован, что делает учет и загрузку более простой.

Другая область применения использует водяные знаки для определения незаконных копий. Таким образом, использование водяных знаков особенно заслуживает внимания для распространения музыки по Интернет. Если покупатель покупает музыкальное произведение, однозначный номер покупателя внедряют в данные, используя водяной знак, при передаче музыкальных данных покупателю. Результатом являются музыкальные произведения, в которые внедрен водяной знак неслышимым образом. Если в более поздний момент времени музыкальное произведение будет найдено в Интернет на сайте не санкционированным, например, на обменном сайте, это произведение может быть проверено на наличие водяного знака посредством декодера согласно фиг.3, и первоначальный покупатель может быть идентифицирован с помощью использования водяного знака. Последнее использование может также играть важную роль для современных решений DRM (цифрового управления правами). Водяной знак в аудиосигналах, снабженных водяными знаками, может служить в качестве своего рода "второй линии обороны", которая все еще позволяет отслеживать первоначального покупателя, когда была обойдена криптографическая защита аудиосигнала, снабженного водяным знаком.

Дополнительные применения водяных знаков, например, описаны в публикации Chr. Neubauer, J. Herre, "Advanced Watermarking and its Applications", 109^th Audio Engineering Society Convention, Los Angeles, сентябрь 2000, Preprint 5176.

Ниже описаны блок внедрения и декодер водяного знака, относящиеся к варианту осуществления схемы внедрения, где по сравнению с вариантом осуществления согласно фиг.1-3 используется отличное преобразование аудиосигнала из временной области в область "частота/частота модуляции". В нижеследующем описании элементы на чертежах, являющиеся идентичными или имеющими то же значение, как таковые на фиг.1 и 3, снабжаются теми же самыми цифровыми ссылочными позициями, какими они снабжены на фиг.1 и 3, при этом для более подробного описания режима функционирования или значения этих элементов ссылки дополнительно сделаны к описанию фиг.1-3, чтобы избежать дублирования.

Блок внедрения согласно фиг.4, который в целом обозначен 210, включает в себя, как и блок внедрения согласно фиг.1, вход 12 аудиосигнала, вход 14 водяного знака и выход 16 для выдачи аудиосигнала, снабженного водяным знаком. После входа 12 имеются средство 18 стробирования и первый блок 20 фильтров для преобразования аудиосигнала "блок за блоком" в блоки 60 спектральных значений 62 (фиг.2), при этом последовательность блоков спектральных значений, формирующихся, таким образом, на выходе блока 20 фильтров, представляет собой представление 24 в области время/частота аудиосигнала. В отличие от блока 10 внедрения согласно фиг.1, однако, комплексные спектральные значения 62 не разделяются на амплитуду и фазу, но комплексные спектральные значения обрабатываются полностью для преобразования аудиосигнал в область "частота/частота модуляции". Последовательности 70 из последовательных спектральных значений поддиапазона таким образом преобразуются блок за блоком в спектральное представление, рассматривая амплитуду и фазу. Прежде, однако, каждая последовательность 70 спектральных значений поддиапазона подвергается демодуляции. Каждая последовательность 70, то есть последовательность спектральных значений, образованная последовательными блоками времени посредством преобразования в спектральный диапазон для некоторого поддиапазона, умножается или смешивается смесителем 212 на комплексно сопряженное значение компонента несущей модуляции, которое определяется средством 214 определения частоты несущей из спектральных значений и, в частности, фазовой части этих спектральных значений представления в области "время/частота" аудиосигнала. Средства 212 и 214 служат для обеспечения компенсации того факта, что интервал повторения временных блоков не обязательно настроен на длительность периода компонента частоты несущей аудиосигнала, то есть той слышимой частоты, которая в среднем представляет частоту несущей аудиосигнала. В случае ошибочной настройки последовательные временные блоки сдвигаются на различные фазовые сдвиги к частоте несущей аудиосигнала. Это имеет последствие, заключающееся в том, что каждый блок спектральных значений, который выдается блоком 20 фильтров, содержит, в зависимости от сдвига фазы соответствующих временных блоков к частоте несущей в фазовой части, линейное увеличение фазы, которое может быть отслежено обратно к сдвигу фазы отдельного временного блока, то есть крутизна и часть на оси которого зависят от сдвига фазы. Так как сдвиг фазы между последовательными временными блоками будет сначала всегда увеличиваться, а также крутизна увеличения фазы, обусловленная сдвигом фаз для каждого блока 60 спектральных значений 62, будет увеличиваться также до тех пор, пока сдвиг фазы снова не станет нулевым, и т.д.

Вышеупомянутое объяснение только ссылается на отдельные блоки 60 спектральных значений. Однако становится очевидным из вышеупомянутого объяснения, что линейное увеличение фазы может также быть обнаружено для спектральных значений, приводя к последовательным временным блокам для одного и того же поддиапазона, то есть увеличению фазы вдоль строк на фиг.2 в матрице 68. Это увеличение фазы также может быть отслежено назад к и зависеть от сдвига фазы последовательных временных блоков. В целом, спектральные значения 62 в матрице 68 испытывают, из-за временного смещения последовательных временных блоков, накопленное изменение фазы, которое выглядит как плоскость в пространстве, охваченном осями 66 и 64.

Средство 214 определения частоты несущей, таким образом, вписывает плоскость в развернутые фазы или фазы, подвергнутые развороту фазы, или развитию (изменению) фазы, или изменению фазовой части по оси, спектральных значений 62 матрицы 68 подходящими способами, такими как, например, алгоритм наименьшей квадратичной ошибки, и получает из него увеличение фазы, обусловленное сдвигом фаз временных блоков, которое имеет место в последовательностях 70 спектральных значений для отдельных поддиапазонов в матрице 68. В целом результатом, в расчете на поддиапазон, является полученное увеличение фазы, соответствующее искомому компоненту несущей модуляции. Средство 214 передает его на смеситель 212 для того, чтобы соответствующие последовательности 70 спектральных значений были умножены смесителем 212 на их комплексно сопряженные значения или умножены на e^{-j(w*m+ )}, где w представляет некоторую несущую, m является индексом для спектральных значений и - сдвигом фаз некоторой несущей во временной секции N рассматриваемых временных блоков. Конечно, средство 214 определения несущей частоты может также выполнять одномерные вписывания прямой в формы фазы отдельных последовательностей 70 из спектральных значений 62 в матрицах 68, чтобы получить отдельные увеличения фазы, обусловленные сдвигом фаз временных блоков. После демодуляции смесителем 212 фазовая часть спектральных значений матрицы 68 является, таким образом, "выровненной" и только изменяется, в среднем, вокруг нулевой фазы из-за формы самого аудиосигнала.

Смеситель 212 передает спектральные значения 62, модифицированные таким образом, к блоку 28 фильтров, который преобразует их матрица за матрицей (матрицу 68 на фиг.2) в область "частота/частота модуляции". Аналогично варианту осуществления согласно фиг.1-3 результатом является матрица значений модуляции, где, однако, эти временные и фаза и амплитуда представления 24 в области время/частота были рассмотрены. Как и в примере на фиг.1, можно обеспечить стробирование с перекрыванием на 50% или подобное.

Последовательные матрицы модуляции, сформированные таким образом, передают к средству 216 внедрения водяного знака, которое принимает водяной знак 14 на другой вход. Средство 216 внедрения водяного знака, например, работает аналогичным образом, как и средство 32 внедрения в блоке 10 внедрения согласно фиг.1. Местоположения (элементы) внедрения в представлении 30 области "частота/частота модуляции", однако, в случае необходимости выбираются, используя правила, рассматривающие другие эффекты маскирования, чем в средстве 32 внедрения. Местоположения внедрения должны быть, как в средстве 32, выбраны так, что значения модуляции, модифицированные таким образом, не имеют слышимого эффекта в отношении аудиосигнала, снабженного водяным знаком, который будет выводиться позже на выход блока 210.

Измененные значения модуляции или измененные или модифицированные матрицы модуляции передают к блоку 34 обратных фильтров, который задает, как матрицы модифицированных спектральных значений формируются из модифицированных матриц модуляции. Для этих модифицированных спектральных значений фазовая коррекция, которая была вызвана демодуляцией посредством смесителя 212, может все еще быть обратимой. Вот почему блоки модифицированных спектральных значений, выданные блоком 34 обратных фильтров в расчете на поддиапазон, смешиваются или перемножаются посредством смесителя 218 на компонент несущей демодуляции, который является комплексно сопряженным значению, используемому смесителем 212 для этого поддиапазона перед преобразованием в область "частота/частота модуляции" для демодуляции, то есть посредством выполнения умножения этих блоков на e ^{j(w*m+ )}, где w, в свою очередь, указывает некоторую несущую для соответствующего поддиапазона, m - индекс для модифицированных спектральных значений и - сдвиг фазы некоторой несущей во временной секции N временных блоков для соответствующего рассматриваемого поддиапазона. Соответствующий модулятор для соответствующего поддиапазона, который обращается к содержанию некоторого блока поддиапазона или который был применен после разделения блоков 212, 214 посредством модуляции, является обращенным снова посредством этого перед последующим объединением (слиянием) блоков.

Спектральные значения, полученные таким образом, все еще существуют в форме блоков, а именно - каждый один блок модифицированных блоков спектральных значений в расчете на поддиапазон, и, в случае необходимости, подвергаются OLA или объединению (слиянию) для обращения стробирования, например, способом, описанным применительно к ссылке 34 на фиг.1.

Нестробированные спектральные значения, полученные таким образом, затем являются доступными как потоки модифицированных спектральных значений в расчете на поддиапазон и представляют представление в области "время/частота" аудиосигнала, снабженного водяным знаком. После выхода смесителя 218 имеются блок 40 обратных фильтров и средство 42 стробирования, которые выполняют преобразование представления в области "время/частота" аудиосигнала, снабженного водяным знаком, во временную область 22, результатом является последовательность аудиозначений, представляющая аудиосигнал, снабженный водяным знаком, на выходе 16.

Преимущество процедуры согласно фиг.4 по сравнению с процедурой согласно фиг.1 состоит в том, что вследствие того, что фаза и амплитуда вместе используются для преобразования к области "частота/частота модуляции", никакого повторного введения частей модуляции не вызывается при рекомбинировании фазы и модифицированной амплитудной части.

Декодер водяного знака, подходящий для обработки аудиосигнала, снабженного водяным знаком, который выдается блоком 210 внедрения, для извлечения из него водяного знака, показан на фиг.5. Декодер, который, в целом, обозначен позицией 310, включает в себя вход 312 для приема аудиосигнала, снабженного водяным знаком, и выход 314 для выдачи извлеченного водяного знака. После входа 312 декодера 310 имеются соединенные последовательно и в том порядке, как упомянуто ниже, средство 318 стробирования, блок 320 фильтров, смеситель 412 и блок 328 фильтров, при этом другой вход смесителя 412 соединен с выходом средства 414 определения частоты несущей, содержащего вход, подсоединенный к выходу блока 320 фильтров. Компоненты 318, 320, 412, 328 и 414 служат той же цели и работают таким же образом, как и компоненты 18, 20, 212, 28 и 214 блока 210 внедрения. Таким образом, входной сигнал, снабженный водяным знаком, преобразуют в декодере 310 из временной области 322 через время-частотную область 324 в область 330 "частота/частота модуляции", где средство 332 декодирования водяного знака принимает и обрабатывает представление в области "частота/частота модуляции" аудиосигнала, снабженного водяным знаком, чтобы извлечь водяной знак и выдать его на вход 314 декодера 310. Как упомянуто выше, матрицы модуляции, поданные на средство 332 декодирования в декодере 310, отличаются меньше, чем те, что подаются на средство 132 декодирования, по сравнению с теми, что поданы на средство 216 внедрения в варианте осуществления согласно фиг.1-3, так как не имеется повторного объединения между фазовой частью и модифицированной амплитудной частью в системе внедрения согласно фиг.4.

Вышеупомянутые варианты осуществления, следовательно, относятся к соединению предметных областей "спектральный анализ модуляции поддиапазона" и "цифровой водяной знак", неизвестному до сих пор для сформирования полной системы введения водяных знаков системой внедрения, с одной стороны, и системой детектора, с другой стороны. Система внедрения служит для введения водяного знака. Она состоит из спектрального анализа модуляции поддиапазона, каскада внедрения, выполняющего модификацию представления сигнала, полученного посредством анализа, и синтеза сигнала модифицированного представления. Детекторная система, наоборот, служит для распознавания водяного знака, присутствующего в аудиосигнале, снабженном водяным знаком. Она состоит из спектрального анализа модуляции поддиапазона и каскада обнаружения (детектирования), который распознает и оценивает водяной знак, используя представление сигнала, полученное посредством анализа.

В отношении выбора местоположений (элементов) в области "частота/частота модуляции" или тех значений модуляции в области "частота/частота модуляции", используемых для внедрения водяного знака или извлечения водяного знака, должно быть указано, что этот выбор должен быть сделан относительно психоакустических факторов, чтобы гарантировать, что водяной знак является неслышимым при воспроизведении аудиосигнала, снабженного водяным знаком. Маскировка эффектов в спектральном диапазоне модуляции может быть использована для подходящего выбора. Здесь приводится ссылка, например, на документ T. Houtgast: "Frequency Selectivity in Amplitude Modulation Detection", J. Acoust. Soc. Am., vol. 85, № 4, апрель 1989, который включен здесь в отношении выбора неслышимым образом поддающихся модификации значений модуляции в области "частота/частота модуляции".

Для лучшего понимания спектрального анализа модуляции, в целом, делается ссылка на следующие публикации, которые относятся к аудиокодированию, используя преобразование модуляции, и в которой сигнал разделяют на диапазоны частот посредством преобразования, впоследствии выполняют разделение в отношении амплитуды и фазы и затем, в то время как фаза дополнительно не обработана, амплитуды каждого поддиапазона преобразуют снова во втором преобразовании через множество блоков преобразования. Результатом является частотное разделение огибающей времени соответствующего поддиапазона на "коэффициенты модуляции". Эти объемные документы включают в себя статью M. Vinton и L. Atlas, "A Scalable and Progressive Audio Codec", в Proceedings of the 2001 IEEE ICASSP, май 7-11, 2001, Salt Lake City, патент US 2002/0176353A1, выданный Atlas и др., "Scalable And Perceptually Ranked Signal Coding and Decoding", статью J. Thompson и L. Atlas, "A Non-uniform Modulation Transform for Audio Coding with Increased Time Resolution", в Proceedings of the 2003 IEEE ICASSP, апрель 6-10, Hong Kong, 2003, и статью L. Atlas, "Joint Acoustic And Modulation Frequency", Journal on Applied Signal Processing 7 EURASIP, стр. 668-675, 2003.

Вышеупомянутые варианты осуществления только представляют примерные пути обеспечения аудиозаписей неслышимой дополнительной информацией, устойчивой против манипуляции, и, таким образом, введения водяного знака в так называемом спектре частот модуляции поддиапазона и выполнения обнаружения в спектре частот модуляции поддиапазона. Однако различные изменения могут быть сделаны в этих вариантах осуществления. Средства стробирования, упомянутые выше, могут служить только для блочного форматирования, то есть перемножение или взвешивание посредством функций организации окна могут быть опущены. Кроме того, функции организации окна, отличные от амплитуды тригонометрических функций, упомянутые выше, могут быть использованы. Также 50% перекрывание блока может быть опущено или выполнено по-другому. Соответственно блок, перекрывающийся на стороне синтеза, может включать в себя операции, отличные от простого суммирования совпадающих аудиозначений в последовательных временных блоках. Кроме того, операции стробирования во втором каскаде преобразования также могут быть изменены соответственно.

Дополнительно указано, что потребность введения аудиосигнала не обязательно должна быть сделана из временной области в представление области "частота/частота модуляции" и из него должна быть обращена снова - после модификации - в представление во временной области. Дополнительно также возможно модифицировать эти два варианта осуществления, упомянутые выше, так, что значения, как они выводятся средством 38 повторного объединения или смесителем 218, объединяются, чтобы сформировать аудиосигнал, снабженный водяным знаком, в потоке битов, который должен присутствовать в области "время/частота".

Кроме того, демодуляция, используемая во втором варианте осуществления, может быть выполнена также отличным образом, таким как, например, чередование форм фазы блоков спектральных значений в матрицах 68 мерами, отличными, чем просто умножение на фиксированную комплексную несущую.

В отношении вышеупомянутых вариантов осуществления для возможных декодеров, как было описано со ссылками на фиг.3 и 5, указано, что из-за совпадения блоков, размещаемых между средством декодирования водяного знака и входом с соответствующими блоками в отношении блока внедрения, все возможности изменений, описанные в отношении блока внедрения в отношении этих средств, применяются таким же образом для декодеров водяного знака согласно фиг.3 и 5.

Должно быть также указано, что вышеупомянутые варианты осуществления исключительно относятся к внедрению водяного знака в отношении аудиосигнала, но что настоящая схема внедрения водяного знака может также применяться к различным информационным сигналам, таким как, например, сигналы управления, сигналы измерения, видео сигналы или подобным, для их проверки, например, относительно их подлинности. Во всех этих случаях возможно в соответствии с предложенной здесь схемой выполнить внедрение информации так, что оно не препятствует нормальному использованию информационного сигнала в форме, снабженной водяным знаком, например, анализу результата измерения или оптического впечатления от видео или подобному, которые являются, как и в этих случаях, также дополнительными данными, которые должны быть внедрены, также упомянутыми как водяной знак.

В частности, указывается, что в зависимости от обстоятельств изобретательная схема может также быть осуществлена в программном обеспечении. Реализация может быть выполнена на цифровом носителе данных, в частности, на диске или компакт-диске, имеющем сигналы управления, которые могут быть считаны с помощью электроники, который может взаимодействовать с программируемой компьютерной системой так, что соответствующий способ будет выполнен. В целом, изобретение, таким образом, также реализуется в форме компьютерного программного продукта, имеющего программный код, сохраненный на машиночитаемом носителе для выполнения изобретательного способа, когда этот компьютерный программный продукт выполняется на компьютере. В отличие от этого изобретение может быть, таким образом, также реализовано как компьютерная программа, имеющая программный код для выполнения способа, когда компьютерная программа выполняется на компьютере.