способ (варианты) и устройство для идентификации цифровых видеоданных от нескольких источников, система телевизионного наблюдения

Формула изобретения

1. Способ идентификации цифровых видеоданных от нескольких источников, отличающийся тем, что получают первый набор цифровых видеоданных, представляющих первое изображение, сохраняют их в ячейке памяти, ассоциированной с первым источником, являющимся идентифицированным источником, в виде образцовых цифровых видеоданных первого источника, получают текущий набор цифровых видеоданных, представляющих текущее изображение, после чего вычисляют разностное отношение, представляющее различие между образцовыми цифровыми видеоданными и текущим набором цифровых видеоданных, посредством вычисления величины различия между пикселами соответствующих им изображений, и при превышении разностным отношением его заданной пороговой величины формируют на дисплее запрос относительно определения принадлежности текущих цифровых видеоданных к идентифицированному источнику или их исхождения от нового источника, причем указанные источники, ячейка памяти и дисплей связывают посредством процессора.

2. Способ по п.1, отличающийся тем, что запрос направляют на дисплей от процессора и при получении им ответа на запрос, указывающего на связь текущего набора цифровых видеоданных с новым источником, дополнительно сохраняют текущий набор цифровых видеоданных во второй ячейке памяти, ассоциированной со вторым источником, в виде образцовых цифровых видеоданных второго источника.

3. Способ по п.1, отличающийся тем, что при разностном отношении ниже его заданной пороговой величины сохраняют текущие цифровые видеоданные в виде новых образцовых цифровых видеоданных для первого источника в ячейке памяти, ассоциированной с первым источником.

4. Способ по п.1, отличающийся тем, что перед вычислением разностного отношения дополнительно осуществляют нормализацию образцовых и текущих цифровых видеоданных для компенсации разницы в яркости соответствующих пикселов этих видеоданных и исключения ее из указанного вычисления величины различия между пикселами.

5. Способ по п.1, отличающийся тем, что формируют наборы образцовых цифровых видеоданных для разных источников и дополнительно осуществляют вычисление разностного отношения для каждого набора образцовых цифровых видеоданных от источника и текущего набора цифровых видеоданных и сравнивают каждое разностное отношение с его заданной пороговой величиной.

6. Способ по п.5, отличающийся тем, что дополнительно осуществляют идентификацию источника, для которого значение разностного отношения ниже его заданной пороговой величины, и осуществляют идентификацию текущего набора цифровых видеоданных как образцового набора цифровых видеоданных для этого источника.

7. Способ по п.1, отличающийся тем, что наборы видеоданных подвергают сжатию с уменьшением требуемого ими объема памяти, причем первый набор видеоданных - перед сохранением, а текущий набор цифровых видеоданных - перед определением разностного отношения.

8. Способ по п.1, отличающийся тем, что дополнительно выделяют в первом изображении выбранную пользователем часть и принимают сигнал, содержащий информацию о соответствующей части текущего изображения, и используют в вычислении разностного отношения одни и те же части текущего и образцового изображений.

9. Способ по п.1, отличающийся тем, что при разностном отношении ниже его заданной пороговой величины дополнительно осуществляют идентификацию текущего изображения как образцового изображения источника, причем набор данных для образцового изображения используют для выполнения сравнений с набором данных для последующих изображений.

10. Способ по п.1, отличающийся тем, что при идентификации каждого из различных порождающих видеоданные источников, набор данных, представляющих текущее изображение, сохраняют как образцовое изображение для этого источника.

11. Способ по п.1, отличающийся тем, что источниками являются неподвижные камеры наблюдения.

12. Способ по п.1, отличающийся тем, что источниками являются поворачивающиеся камеры наблюдения.

13. Способ по п.1, отличающийся тем, что посредством процессора дополнительно принимают направляемый пользователем сигнал, содержащий информацию, представляющую заданную пороговую величину указанного разностного отношения.

14. Способ идентификации цифровых видеоданных от нескольких источников, отличающийся тем, что получают первый набор цифровых видеоданных, представляющих изображение, сохраняют их в ячейке памяти, ассоциированной с первым источником, в виде образцовых цифровых видеоданных первого источника, получают текущий набор цифровых видеоданных, представляющих текущее изображение, выбирают подгруппу из первого набора цифровых видеоданных и выбирают подгруппу из текущего набора цифровых видеоданных, причем подгруппа из первого набора и подгруппа из текущего набора имеют одинаковые расположения пикселов, затем вычисляют разностное отношение, представляющее различие между подгруппой из первого набора и подгруппой из текущего набора, посредством вычисления величины различия между пикселами соответствующих им изображений, причем при превышении разностного отношения его заданной пороговой величины формируют на дисплее запрос относительно принадлежности текущих цифровых видеоданных к идентифицированному источнику или их исхождения от нового источника, и при этом указанные источники, ячейку памяти и дисплей связывают посредством процессора.

15. Способ по п.14, отличающийся тем, что запрос направляют на дисплей от процессора и при получении им ответа на запрос, указывающий на связь текущего набора цифровых видеоданных с новым источником, дополнительно сохраняют текущий набор цифровых видеоданных во второй ячейке памяти, ассоциированной с новым источником, в виде образцовых цифровых видеоданных нового источника.

16. Способ по п.14, отличающийся тем, что при разностном отношении ниже его заданной пороговой величины сохраняют текущие цифровые видеоданные в виде новых образцовых цифровых видеоданных для первого источника в ячейке памяти, ассоциированной с первым источником.

17. Способ по п.14, отличающийся тем, что перед вычислением разностного отношения дополнительно осуществляют нормализацию образцовых и текущих цифровых видеоданных для компенсации разницы в яркости соответствующих пикселов этих видеоданных, и исключения ее из указанного вычисления величины различия между пикселами.

18. Способ по п.14, отличающийся тем, что формируют наборы образцовых цифровых видеоданных для разных источников и дополнительно осуществляют вычисление разностного отношения для каждого набора образцовых цифровых видеоданных от источника и текущего набора цифровых видеоданных и сравнивают каждое разностное отношение с его заданной пороговой величиной.

19. Способ по п.14, отличающийся тем, что дополнительно осуществляют идентификацию источника, для которого значение разностного отношения ниже его заданной пороговой величины, и осуществляют идентификацию текущего набора цифровых видеоданных как образцового набора цифровых видеоданных для источника.

20. Способ по п.14, отличающийся тем, что наборы видеоданных подвергают сжатию с уменьшением требуемого ими объема памяти, причем первый набор видеоданных - перед сохранением, а текущий набор цифровых видеоданных - перед определением разностного отношения.

21. Способ по п.14, отличающийся тем, что при разностном отношении ниже его заданной пороговой величины дополнительно осуществляют идентификацию текущего изображения как образцового изображения источника, причем набор данных для образцового изображения используют для выполнения сравнений с набором данных для последующих изображений.

22. Способ по п.14, отличающийся тем, что при идентификации каждого из различных порождающих видеоданные источников, набор данных, представляющих текущее изображение, сохраняют как образцовое изображение для этого источника.

23. Способ по п.14, отличающийся тем, что источниками являются неподвижные камеры наблюдения.

24. Способ по п.14, отличающийся тем, что источниками являются поворачивающиеся камеры наблюдения.

25. Способ по п.14, отличающийся тем, что посредством процессора дополнительно принимают направляемый пользователем сигнал, содержащий информацию, представляющую заданную пороговую величину разностного отношения.

26. Способ идентификации цифровых видеоданных от нескольких источников, отличающийся тем, что принимают объединенную цифровую видеосерию, включающую ряд кадров, анализируют и сравнивают цифровые данные пикселов различных кадров объединенной цифровой видеосерии, на основе чего каждый кадр идентифицируют с источником в процессе одного прохода по объединенной цифровой видеосерии.

27. Способ по п.26, отличающийся тем, что при сравнении цифровых видеоданных от проанализированных кадров, пикселы первого проанализированного кадра сравнивают с пикселами второго проанализированного кадра, и если второй проанализированный кадр идентифицируется как исходящий из того же источника, что и первый проанализированный кадр, второй проанализированный кадр идентифицируют как образцовый кадр этого источника.

28. Способ по п.27, отличающийся тем, что образцовый кадр используют для сравнения с третьим проанализированным кадром и на основе сравнения пикселов этих кадров определяют, исходит ли третий проанализированный кадр из этого источника.

29. Система телевизионного наблюдения, отличающаяся тем, что она содержит группу камер для выдачи видеосигнала, процессор для приема каждого видеосигнала и объединения сигнала в объединенный видеосигнал, запоминающее устройство для хранения объединенного видеосигнала, дисплей, связанный с процессором с возможностью вывода на дисплей запроса о принадлежности текущего видеосигнала, средство ввода, связанное с процессором с возможностью направления в процессор запроса от пользователя на разделение и разделения объединенных видеосигналов за один проход по объединенному видеосигналу.

30. Устройство для идентификации цифровых видеоданных от нескольких источников, отличающееся тем, что оно содержит модуль приема, связанный с источниками с возможностью получения первого набора цифровых видеоданных, представляющих первое изображение, и получения текущего набора цифровых видеоданных, представляющих текущее изображение, модуль памяти для хранения первого набора цифровых видеоданных, полученных от модуля приема, в ячейке памяти, ассоциированной с первым источником, являющимся идентифицированным источником, вычислительный модуль для вычисления разностного отношения, представляющего различие между образцовыми цифровыми видеоданными и текущим набором цифровых видеоданных, посредством вычисления величины различия между пикселами соответствующих им изображений, дисплей и модуль запросов, связанный с вычислительным модулем и дисплеем с возможностью формирования запроса на дисплее и получения ответа о принадлежности цифровых видеоданных к идентифицированному источнику или исхождения их от нового источника при превышении разностным отношением его заданной пороговой величины.

31. Устройство по п.30, отличающееся тем, что модуль памяти подключен с возможностью направления текущего набора цифровых видеоданных на хранение во вторую ячейку памяти, ассоциированную со вторым источником, в соответствии с полученным ответом, указывающий, что текущий набор цифровых видеоданных связан с новым источником.

32. Устройство по п.30, отличающееся тем, что модуль памяти подключен с возможностью направления текущих цифровых видеоданных на хранение в ячейку памяти, ассоциированную с первым источником при значении разностного отношения ниже его заданной пороговой величины.

33. Устройство по п.30, отличающееся тем, что оно дополнительно содержит связанный с вычислительным модулем модуль нормализации образцовых и текущих цифровых видеоданных для компенсации различий в яркости соответствующих пикселов этих видеоданных и исключения их из вычисления величины различия между пикселами.

34. Устройство по п.30, отличающийся тем, что вычислительный модуль является средством вычисления разностного отношения для каждого образцового набора цифровых видеоданных, представляющих источник, и текущего набора видеоданных, а модуль запросов также является средством сравнения разностного отношения с заданной пользователем его пороговой величиной.

35. Устройство по п.30, отличающееся тем, что модуль запросов является также средством идентификации источника, для которого величина разностного отношения ниже его заданной пороговой величины, а модуль памяти является средством ассоциирования текущего набора цифровых видеоданных с идентифицированным источником.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к анализу телевизионных изображений. В частности, настоящее изобретение относится к разделению неиндексированного потока сигнала телевизионного изображения.

Уровень техники

В предшествующем уровне технике известно объединение выходных сигналов нескольких камер наблюдения с образованием видеосигнала, представляющего собой комбинированный сигнал, состоящий из выходных сигналов камер. Обычно объединение изображений производится последовательно, когда один или более кадров какой-либо камеры вводится в видеосерию (видеопоследовательность), а затем мультиплексор добавляет один или более кадров от следующей камеры. Число кадров, взятых от каждой камеры, определяется подаваемым на мультиплексор сигналом синхронизации, числом камер и скоростью съемки. Также в уровне техники используется цифровое представление видеосигнала и идентификация изображений, поступающих от каждой камеры в объединенном видеосигнале. В уровне техники, однако, эта процедура выполняется последовательно, то есть изображения, получаемые от одной камеры, идентифицируются путем сопоставления по всему массиву оцифрованного видеосигнала. Другими словами, для получения видеосигналов для всех N камер требуется N просмотров видеосигнала. Кроме того, в таких системах производится только прямое сопоставление изображений. Например, после того, как первое изображение идентифицировано и связано (ассоциировано) с первой камерой, выполняется сравнение для каждого из других изображений в видеосигнале. Если во время съемки произойдет изменение в поле зрения первой камеры и в результате возникнут значительные отличия по сравнению с первым изображением, система отвергнет изображение как не отождествляемое, даже если это изображение должно быть ассоциировано с этой камерой. Таким образом, в известных системах не обеспечивается надежное распознавание движения, происходящего перед камерой. Более того, подобные системы не подходят для камер, ведущих панорамную съемку, в которых сцена в поле зрения камеры непрерывно меняется. Таким образом, требуется система, в которой возможно проведение параллельной обработки сигналов со всех камер по оцифрованному видеосигналу за один проход. Также нужен способ, обеспечивающий работу с камерами панорамной съемки, и соответствующая система. Кроме того, требуется система, в которой не происходит сброса кадров при разделении сигналов и обеспечивается распознавание движения в поле зрения камеры.

Раскрытие изобретения

В одном из вариантов выполнения изобретения предлагается способ разделения цифровых видеоданных, исходящих от нескольких источников, в котором в объединяемых изображениях нет индексации, либо отсутствуют идентификационные данные, позволяющие разделить источники. Источниками обычно являются камеры, которые могут быть неподвижными или подвижными - поворачивающимися, что обычно используется в системах наблюдения. Первый набор цифровых видеоданных, представляющих первое изображение, извлекается из запоминающего устройства или из видеомагнитофонной записи. Первый набор цифровых видеоданных сохраняют в ячейке памяти, связанной (ассоциированной) с первым источником. Первый набор видеоданных также идентифицируется как образцовые видеоданные, представляющие первый источник. Затем получают второй набор цифровых видеоданных, представляющих текущее изображение. Вычисляют разностное отношение с использованием образцовых цифровых видеоданных и набора цифровых видеоданных текущего изображения. Если разностное отношение превосходит пороговую величину (далее - "порог"), пользователю системы представляется на дисплее запрос для получения ответа о том, принадлежат ли текущие цифровые видеоданные к идентифицированному источнику, или они исходят от нового источника. В том случае, если в ответе на запрос указывается, что текущий набор цифровых видеоданных относится к новому источнику, текущий набор цифровых видеоданных сохраняют во второй ячейке памяти, связанной со вторым источником. Затем этот текущий набор цифровых видеоданных идентифицируется как образцовые видеоданные для второго источника.

Если разностное отношение находится ниже порога, текущие цифровые видеоданные сохраняют в ячейке памяти, связанной с первым источником, при этом текущий набор цифровых видеоданных теперь становится образцовыми видеоданными для первого источника. В некоторых вариантах выполнения, перед вычислением разностного отношения производят нормализацию цифровых видеоданных для компенсации разницы в яркости. Если имеется несколько источников, и источники идентифицированы и имеют ассоциированные образцовые кадры, разностное отношение рассчитывают для каждого образцового кадра, и каждое разностное отношение сравнивают с порогом. Если разностное отношение, соответствующее образцовому кадру источника, находится ниже порога, текущий кадр цифровых видеоданных принимается за новый образцовый кадр для данного источника.

В некоторых вариантах выполнения цифровые видеоданные, хранящиеся в качестве образцового кадра, подвергают сжатию перед хранением. В таких вариантах выполнения, текущие цифровые видеоданные, представляющие текущий видеокадр, также подвергают сжатию перед вычислением разностного отношения.

В других вариантах выполнения пользователь может направить сигнал, содержащий информацию, представляющую часть изображения. Данные, находящиеся в этой части изображения, представляют собой данные, которые используются для сравнения и в которых одни и те же части текущего кадра и части каждого образцового кадра используются в расчете разностного отношения.

Описанная выше методика отличается тем, что принадлежность всех кадров из массива данных к источнику может быть определена за один проход по массиву данных. Описанная методика может быть реализована в компьютерном программном продукте, использующем компьютерный код, читаемый компьютером.

Данный способ может быть осуществлен в устройстве, состоящем из модулей. Устройство может быть частью системы, включающей камеру и процессор для приема каждого видеосигнала и объединения сигнала в объединенный видеосигнал. Система может дополнительно включать память для хранения объединенного и разделенного видеосигналов. В этой системе процессор получает запрос на разделение и процессор разделяет объединенный видеосигнал за один проход по объединенному видеосигналу. Система может включать модуль приема для приема первого набора цифровых видеоданных, представляющих первое изображение, и приема текущего набора видеоданных, представляющих текущее изображение. Далее, система должна иметь модуль памяти, вычислительный модуль и модуль запросов. Вычислительный модуль вычисляет разностное отношение с использованием первого набора цифровых видеоданных и текущего набора цифровых видеоданных, а модуль памяти хранит первый набор цифровых видеоданных в ячейке памяти, связанной с первым источником. Модуль запросов вырабатывает запрос на дисплее, требующий ответа относительно принадлежности цифровых видеоданных идентифицированному источнику или их происхождения от нового источника, если разностное отношение превышает порог.

Модуль памяти также направляет текущий набор цифровых видеоданных для хранения во вторую ячейку памяти, связанную со вторым источником, в соответствии с полученным ответом, указывающим, что текущий набор цифровых видеоданных связан с новым источником. Если разностное отношение имеет значение ниже порога, модуль памяти направляет текущие цифровые видеоданные для хранения в ячейку памяти, связанную с первым источником. Система может также включать модуль нормализации для нормализации цифровых видеоданных для компенсации разницы в яркости перед выдачей цифровых видеоданных в вычислительный модуль для расчета разностного отношения. В этой системе вычислительный модуль является средством вычисления разностного отношения для каждого образцового набора цифровых видеоданных, представляющего источник, и текущего набора цифровых видеоданных, а модуль запросов является средством сравнения разностного отношения с пороговой величиной.

Краткое описание чертежей

Признаки изобретения станут более понятны при ознакомлении с приведенным ниже подробным описанием вместе с приложенными чертежами, на которых:

Фиг.1 представляет конфигурацию системы для реализации первого варианта выполнения для разделения телевизионных изображений;

Фиг.2 представляет блок-схему, иллюстрирующую последовательность разделения телевизионных кадров от нескольких камер из потока кадров телевизионного изображения;

Фиг.3 представляет блок-схему, иллюстрирующую дополнительные особенности разделения телевизионных кадров;

Фиг.4 представляет кадр сравнения, изображенный на дисплее, а прямоугольник с линиями показывает выделенную пользователем зону;

Фиг.5 представляет текущий кадр, изображенный на дисплее, и показывает, что та же выделенная пользователем зона, что и на Фиг.4, используется для сравнения;

Фиг.6 показывает три камеры (камера 1, камера 2 и камера 3), вырабатывающие последовательность объединенных телевизионных кадров, где изображение от каждой камеры вводится в последовательность через промежутки времени;

Фиг.7 и 8 показывает выбранную пользователем область, представляющую интерес, в которой воспроизводятся дата и время;

Фиг.8 иллюстрирует вариант выполнения изобретения, в котором модули представлены в виде аппаратных средств, выполняющих функции заявляемого способа.

Осуществление изобретения

В приведенном ниже тексте под термином "цифровой видеосигнал" подразумевают представление в цифровой форме последовательности сигналов изображений, которые могут быть последовательно воспроизведены на дисплее. Обычно цифровой видеосигнал содержит несколько кадров, каждый из которых воспроизводит отдельное изображение. Кадры, в свою очередь, могут быть также разделены, представляя собой совокупность пикселов. В приведенном тексте термином "пиксел" обозначается одна точка изображения. Чем большее число пикселов содержится в изображении, тем выше разрешающая способность телевизионного изображения. Разрешающая способность обычно описывается количеством пикселов по длине и ширине, например разрешающая способность 800×600 соответствует 800 пикселам по длине изображения и 600 пикселам по ширине изображения.

В варианте выполнения настоящего изобретения, телевизионные изображения в потоке изображений, формируемые несколькими источниками видеосигнала, разделяются таким образом, что изображение от конкретного источника может быть передано, проанализировано и выведено для просмотра.

На Фиг.1 представлена конфигурация системы для осуществления варианта выполнения изобретения. На Фиг.1 показано несколько камер (Камера А, Камера В и Камера С). Каждая камера вырабатывает видеосигнал, содержащий видеоинформацию, которая объединяется и хранится либо в цифровой форме в запоминающем устройстве, объединенном с процессором 20, либо в цифровой или аналоговой форме на ленте 25. Объединенная (мультиплексированная) информация не содержит ни заголовков, идентифицирующих источник, ни каких-либо индексов для идентификации источника. Затем объединенная информация разделяется (демультиплексируется) процессором. Если видеоинформация представлена в аналоговой форме, то сначала производится ее преобразование в цифровую форму посредством аналого-цифрового преобразования, хорошо знакомого специалистам среднего уровня. После оцифровки последовательность цифровых данных передается в процессор. Сигналы изображения могут быть, а могут и не быть подвергнуты сжатию и представлены в формате полей или кадров. Аналогично, цифровой видеосигнал может быть представлен любым из имеющихся способов передачи цвета, включая RGB и YUV. Процессор выполняет операции по разделению цифрового видеосигнала в соответствии с блок-схемой на Фиг.2 и 3. Следует иметь в виду, что в рамках настоящего раскрытия термин "кадр" используется для обозначения телевизионного изображения, которое должно воспроизводиться в течение заданного промежутка времени. Настоящее раскрытие в равной степени применимо к телевизионным полям, формируемым для дисплеев, использующих для формирования изображения через строчную развертку.

На Фиг.2 и 3 показано разделение видеосигналов от нескольких источников 100. Первый кадр телевизионного сигнала в цифровом видеосигнале анализируется и сохраняется в ячейке памяти 110. Этот кадр по умолчанию обозначается как кадр сравнения для первого источника, которым в данном варианте выполнения является камера 1. Кадр сравнения представляет кадр, с которым будет сопоставляться текущий кадр. В одном из вариантов выполнения кадр, который может быть кадром в стандарте NTSC, перед операцией сравнения подвергается уменьшению до, например, 1/8 своего исходного размера перед занесением в память. Уменьшение размера кадра может осуществляться просто исключением пикселов. Например, для уменьшения числа пикселов в 4 раза в изображении размером 800×600 пикселов следует исключить пикселы через один, в результате чего остается 400×300 пикселов. В другом варианте выполнения объем данных может быть сокращен посредством усреднения. Например, каждые восемь рядов по восемь пикселов могут быть усреднены так, что 64 пиксела сводятся к одному пикселу. Затем из цифрового видеосигнала собирается следующий кадр ("текущий кадр").

Затем для кадра сравнения выделяется выбранная область пользователя. Эта выбранная область используется для сопоставления выбранной области кадра сравнения с такой же выбранной областью текущего кадра. В некоторых вариантах выполнения выбранной областью по умолчанию является весь кадр, и никакого взаимодействия с пользователем системы не требуется. Перед сравнением кадра сравнения и текущего кадра производится нормализация выбранных областей кадров, чтобы исключить из сравнения любые изменения в яркости/интенсивности. Например, производится вычисление значения средней интенсивности для пикселов в выбранной области пользователя в кадре сравнения и в той же области в текущем кадре. Затем величина интенсивности для каждого пиксела делится на среднее значение интенсивности для соответствующей выбранной области пользователя. На этом шаге производится нормализация величин в связи с любыми изменениями яркости, например, из-за внезапных вспышек света. Например, если камерой производится мониторинг банкомата и к банкомату приближается автомашина, фары которой внезапно освещают обозреваемое пространство, такое изменение освещенности будет учтено. Подобная нормализация может быть выполнена любым известным способом, включая использование для выбранной области пользователя вместо средней интенсивности среднеквадратического значения.

Затем, используя выбранную область пользователя, на шаге 130 производят сравнение текущего кадра с той же областью кадра сравнения. На Фиг.4 и 5 приведен пример, где на Фиг.4 представлен кадр 200 сравнения, изображаемый на дисплее 250, с выбранной областью 275А пользователя, выделенной прямоугольником с координатной сеткой. На Фиг.5 представлен текущий кадр 201, изображенный на дисплее 250, и показано, что та же выбранная область 275В пользователя на экране дисплея, что и на Фиг.4, используется для сравнения. В варианте выполнения, в котором кадр сравнения перед сохранением подвергался уменьшению в размерах, текущий кадр перед операцией сравнения подвергается сокращению размера. Благодаря уменьшению размера телевизионных кадров сокращается требуемый объем памяти и средняя частота возникновения ошибок, что снижает дрожание изображения.

Разностные отношения между текущим кадром и каждым кадром сравнения идентифицируемого источника (камеры) вычисляются на шаге 130. Вычисляется сумма абсолютной величины различия между пикселами текущего кадра и пикселами кадра сравнения в выбранной области пользователя и делится затем на сумму значений интенсивности по пикселам текущего кадра в выбранной области пользователя. Это отношение представляет различие между текущим кадром и кадром сравнения для данной камеры. В первой итерации, поскольку здесь выполняется идентификация только одного источника, производится вычисление разностного отношения только для образцовых данных от камеры 1. Самое низкое значение разностного отношения сравнивается с пороговым значением, установленным пользователем. Если на шаге 140 самое низкое значение разностного отношения оказывается ниже установленного пользователем порога, текущий кадр определяется как приходящий от источника, ассоциирующегося с наименьшим значением разностного отношения. В одном из вариантов выполнения текущий кадр, соотнесенный с источником, затем копируется в кадр сравнения соответствующей камеры и этот кадр на шаге 150 заносится в память. Процесс замены кадра сравнения на текущий кадр способствует идентификации источника, поскольку при этом сводится к минимуму воздействие постепенно происходящих изменений, например изменения освещенности при смене дня и ночи и поворота поля зрения камеры.

Если минимальное значение разностного отношения равно установленному пользователем пороговому значению или превышает его, пользователю предлагается идентифицировать кадр. Текущий кадр и последние кадры сравнения для каждой камеры выводятся на дисплей пользователя на шаге 170, чтобы пользователь мог визуально сравнить кадры. Текущий кадр может быть кадром от нового источника или кадром от источника, который уже был идентифицирован, либо представлять ошибочные данные, которые следует пропустить.

Если пользователь на шаге 210 идентифицирует кадр как кадр от нового источника, т.е., камеры, до этого не идентифицированной, то кадр копируется как кадр сравнения нового источника, и кадр записывается в память как первый кадр новой камеры. Если пользователь на шаге 180 идентифицирует кадр как соответствующий существующему источнику, то кадр копируется в кадр сравнения соответствующего источника на шаге 150 и затем выдается в качестве соответствующего источника. Если пользователь идентифицирует кадр как ошибочные данные, которые должны быть пропущены (шаг 190), кадр отбрасывается (шаг 200) и обработка продолжается. Процесс повторяется с шага 160, пока не будут обработаны все кадры и операция разделения не закончится на шаге 250. Надо отметить, что после того, как каждая камера идентифицирована и кадр сравнения ассоциирован с камерой-источником, сравнения будут производиться между текущим кадром и кадром сравнения каждого источника.

В системах наблюдения создание объединенного телевизионного изображения производится таким образом, что кадр или несколько кадров от каждой камеры сохраняются в памяти последовательно (камера 1, камера 2 и т.д.). В результате, после обработки первых нескольких кадров обычно происходит идентификация всех камер. К пользователю в этом случае обращаются только, когда кадр не согласуется ни с одним из существующих источников. Рассогласование может быть вызвано воздействием шумов, либо искажением кадра телевизионного изображения, и данные могут быть пропущены, или может быть идентифицирован источник, который хранит искаженные или зашумленные кадры. Рассогласование может возникнуть, если в кадре происходят значительные изменения, например, когда через выбранную область двигается большой объект.

В конкретном варианте выполнения настоящего изобретения пользователь может изменить порог. Например, повышение порога может быть выгодным, если возникают излишне частые обращения к оператору, когда изображения от общего источника не идентифицируются надлежащим образом. В таком варианте выполнения текущий порог вместе с текущими разностными отношениями выводится на дисплей пользователю и пользователь может либо выбрать один из нескольких заранее определенных порогов, либо пользователь может ввести порог вручную.

В другом варианте выполнения имеются два разных порога, с которыми сравниваются разностные отношения. Первый порог, как описано выше, используется для определения соответствия текущего изображения какой-либо из камер. Второй порог определяет уровень, при превышении которого кадры должны отбрасываться. Если превышается второй порог, данные, ассоциированные с соответствующим изображением, автоматически отбрасываются. Второй порог имеет величину, превышающую величину первого порога, которая может быть установлена на основе изучения предыдущего опыта работы или путем эксперимента.

В одном из вариантов выполнения изобретения телевизионный сигнал от камер 300, 301, 302, которые производят съемку пространства, последовательно сканируя его, разделяется, как показано на Фиг.6. В этом варианте выполнения при установке порога для привязки изображения к камере учитываются временные изменения в изображениях при осуществлении обзора камерой. Например, на Фиг.6 показаны три камеры (камера 1, камера 2 и камера 3), вырабатывающие последовательность объединенных телевизионных кадров 320, где к этой последовательности постепенно добавляются изображения от каждой камеры. После того, как кадр от всех трех камер был сохранен в составе последовательности, процесс повторяется. На Фиг.6 изображения от камеры 1 появляются в моменты Т0 и Т3. Как показано на Фиг.6, если изображение от момента времени Т0 сдвинется на три пиксела за счет перемещения камеры за время между Т0 и Т3, и изображения налагаются, большая часть пикселов изображения в момент Т0 перекроется с изображением в момент Т3. Посредством замены кадра сравнения на текущий кадр и использования обновленного кадра сравнения в процедуре сравнения сводится к минимуму величина смещения между кадром сравнения и текущим кадром, благодаря чему нет необходимости в использовании более сложных методов сопровождения и сравнения изображений. Если скорость перемещения камеры невысока по сравнению с интервалом между моментами сохранения изображений, то выбор порога может быть согласован со скоростью перемещения.

В других вариантах выполнения для того, чтобы учесть перемещение поля зрения камеры, перед выполнением сравнения с текущим кадром производится смещение пикселов кадра сравнения. Кроме того, в процессе сравнения текущее изображение может быть сдвинуто несколько раз в нескольких направлениях при вычислении разностного отношения и проведении сравнения отношения с порогом. Далее, можно предугадать направление перемещения на основе анализа тенденции, когда направление движения определяется с учетом предшествующего движения того же источника. Таким образом, отслеживая направление движения, можно сократить число сдвигов ячеек хранения данных и операций сравнения.

В другом конкретном варианте выполнения порог устанавливается для отдельной камеры таким образом, что производится идентификация движения или изменений в кадре за счет изменений в поле зрения камеры, и только эти кадры сохраняются в ячейках памяти телевизионного изображения. В этом варианте выполнения используется тот же способ сравнения, но текущий кадр и кадры сравнения хранятся в оперативной памяти, а кадры, которые превосходят порог, хранятся в постоянной памяти, связанной с системой. В другом варианте при превышении порога изображение предъявляется пользователю системы и на экране дисплея ему предлагается определить, следует ли направлять кадр для хранения в постоянной памяти.

В некоторых обстоятельствах телевизионные кадры перед выполнением сравнения с текущим кадром могут быть разделены по времени и/или дате. В некоторых системах мультиплексирования, где в качестве камер применяются цифровые камеры, например использующие ПЗС (приборы с зарядовыми связями), поток цифровых данных, содержащий кадр в цифровой форме, перед цифровым сигналом телевизионного кадра может содержать отметку времени и даты. В этом случае хранение и разделение кадров может проводиться в соответствии с датой и временем. В других системах мультиплексирования, где камеры вырабатывают аналоговый сигнал с наложенным сигналом даты и времени, или в которых цифровые камеры вводят дату и время в пределы цифрового кадра, телевизионные кадры могут быть разделены по времени и дате. В этом варианте выполнения после того, как видеосигнал оцифрован, на дисплей выведены дата и время, производится определение выбранной области контроля. Если телевизионные кадры должны разделяться по времени, выбранная область пользователя может представлять собой час 400А, показанный на Фиг.7, и при каждом изменении в этой области телевизионного кадра данные телевизионного кадра сохраняются в новой ячейке памяти, ассоциирующейся с этим часом. Аналогично, заданной пользователем выбранной областью является день месяца 400В, как это показано на выведенных на телевизионный дисплей 410 цифровых данных изображения (Фиг.8). В этом случае система может постоянно отслеживать изменения в дате в определенной пользователем выбранной области, превышающие порог, для идентификации кадров, относящихся к различным дням месяца.

На Фиг.9 представлен другой вариант выполнения изобретения, где изобретение имеет форму устройства 500. Устройство 500 может быть электронным устройством, например модулем на базе программируемой пользователем вентильной матрицы (FPGA), либо чипом специализированной интегральной схемы (ASIC). Устройство 500 содержит модуль 501 приема, который получает цифровые данные 550 изображения. Цифровые данные изображения включают кадры видеоданных от различных источников. Модуль 501 приема получает первый набор цифровых видеоданных, представляющий первое изображение, и также принимает текущий набор цифровых видеоданных, представляющих текущее изображение. Модуль 501 приема передает первый набор цифровых данных в модуль 502 памяти. Модуль 502 памяти направляет для хранения в запоминающее устройство 560 первый набор цифровых видеоданных в ячейку памяти, связанную с первым источником 561. Эти данные также идентифицируются как образцовые видеоданные первого источника. Модуль 501 приема передает первый набор цифровых видеоданных вместе с текущим набором цифровых видеоданных в вычислительный модуль 503. Вычислительный модуль 503 вычисляет разностное отношение, используя первый набор цифровых видеоданных и текущий набор цифровых видеоданных, как это было описано выше. Если было идентифицировано более одного источника, принимаются цифровые видеоданные для каждого образцового кадра для источника, и для каждого производится вычисление разностного отношения. Разностное отношение(я) направляется в модуль 504 запросов. Модуль 504 запросов сравнивает разностное отношение(я) с порогом. Если разностное отношение для образцового кадра источника оказывается ниже порога, то текущий кадр ассоциируется с этим источником.

Затем цифровые видеоданные сохраняются в памяти, связанной с идентифицированным источником 562. Например, если разностное отношение для образцового кадра 4-го источника находится ниже порога, текущие цифровые видеоданные будут ассоциированы с этим источником. Кроме того, текущий кадр станет образцовым кадром 4-го источника.

Если значения всех разностных отношений превышают порог, модуль 504 запросов направляет запрос в дисплей 510 с предложением пользователю устройства классифицировать текущую цифровую видеоинформацию как относящуюся к идентифицированному источнику или исходящую из нового источника. Таким путем пользователь получает на дисплей 510 сообщение, что текущий кадр видеоданных не может быть безусловно ассоциирован с конкретным источником, поскольку разностное отношение превышает порог. Пользователь может, используя устройство 511 ввода, например клавиатуру или мышь, соединенные с устройством, направить ответ, которым определит, принадлежит ли текущий кадр первому источнику или другому ранее идентифицированному источнику, следует ли ассоциировать его с новым источником, либо он должен быть отброшен. Модуль 504 запросов получает эту информацию и дает команду модулю 502 памяти сохранить текущие цифровые видеоданные для текущего телевизионного кадра в ячейке памяти с идентифицированным источником. Пользователю системы на дисплей выводится текущее изображение, а также каждый образцовый кадр для источника. Это позволяет пользователю выполнять визуальное сравнение, способствуя процессу идентификации.

Следует понимать, что если пользователь идентифицирует текущие цифровые видеоданные как приходящие от нового источника, текущие цифровые видеоданные будут ассоциированы с ячейкой памяти, связанной с новым источником. В устройство также может быть включен модуль 505 нормализации. Модуль нормализации нормализует цифровые видеоданные текущего телевизионного кадра при сравнении с образцовыми телевизионными кадрами. Как было показано выше, нормализация цифровых видеоданных позволяет учесть изменения в освещенности сцены при смене дня и ночи. Нормализация производится перед вычислением разностного отношения.

Следует отметить, что блок-схемы используются здесь для иллюстрации различных особенностей изобретения и не должны восприниматься как ограничивающие настоящее изобретение какой-либо конкретной логической схемой или вариантом выполнения. Описанная логическая схема может быть разделена на отдельные логические группы (например, программы, модули, функции или подпрограммы) без изменения общих результатов или какого-либо иного отклонения от истиной области притязаний изобретения. Зачастую логические элементы могли добавляться, модифицироваться, исключаться, выполняться в ином порядке или выполняться с использованием других логических структур (например, логических вентилей, циклических базисных элементов и иных логических структур) без изменения общих результатов или какого-либо иного отклонения от истиной области притязаний изобретения.

Настоящее изобретение может быть выполнено во многих различных формах, включая компьютерную программную логику для использования с процессором (например, микропроцессором, микроконтроллером, процессором цифрового сигнала или компьютером общего назначения), программируемую логику для использования с программируемым логическим устройством (например, программируемой пользователем вентильной матрицы (FPGA) или иным программируемым логическим устройством), дискретные компоненты, интегральные схемы (например, специализированные интегральные схемы (ASIC)), либо любые иные средства, включая любые их комбинации, но и не ограничиваясь ими.

Компьютерная программная логика, выполняющая все или часть функций, описанных выше, может быть реализована в различных формах, например в форме исходного кода, в форме, исполняемой компьютером, и различных промежуточных формах (например, формах, генерируемых ассемблером, компилятором или устройством ввода позиций), не ограничиваясь только ими. Исходный код может включать последовательности команд компьютерных программ, реализованных на любом из различных языков программирования (например, объектная программа, язык ассемблера, или язык высокого уровня, например Fortran, С, C++, JAVA или язык HTML) для использования с различными операционными системами или операционными средами. Исходный код может определять и использовать различные структуры данных и сообщений. Исходный код может быть в исполняемой компьютером форме (например, посредством интерпретирующей программы), либо исходный код может быть преобразован (например, посредством транслятора, ассемблера или компилятора) в код, исполняемый компьютером.

Компьютерная программа может быть записана в любой форме (например, в форме исходного кода, форме, исполняемой компьютером, либо промежуточной форме), либо постоянно, либо временно в среде запоминающего устройства (например, RAM, ROM, PROM, EEPROM или программируемая RAM с групповой перезаписью), в устройстве с магнитной памятью (например, дискета или несъемный диск), в оптическом запоминающем устройстве (например, CD-ROM), на PC-карте (например, карте ассоциации PCNCIA), или в другом запоминающем устройстве. Компьютерная программа может быть записана в любой форме в сигнале, который может передаваться к компьютеру с использованием различных способов связи, включая аналоговую связь, цифровую связь, оптическую связь, беспроводную связь, связь в сети и связь между сетями. Компьютерные программы могут распространяться в любой форме с использованием переносимой среды хранения с сопровождающей документацией в печатной или электронной форме (например, программы, упакованные в термоусадочную пленку, или магнитная лента), быть предустановленными в системе компьютера (например, в постоянной памяти системы или несъемном диске) или распространяться с сервера или электронной системы телеконференцсвязи по системе связи (например, Internet или Всемирной Сети).

Логические устройства (включая программируемую логику для использования с программируемыми логическими устройствами), выполняющие все или часть функций, описанных выше, могут быть разработаны с использованием традиционных методов вручную, либо могут быть разработаны, каптированы, смоделированы, либо представлены в виде электронного документа, с использованием различных инструментов, например автоматизированного проектирования (CAD), языка описания аппаратных средств (например, VHDL или AHDL), либо языка программирования программируемых логических устройств (например, PALASM, ABEL или CUPL).

Настоящее изобретение может быть выполнено в иных конкретных формах в пределах области притязаний изобретения. Описанные варианты выполнения не имеют ограничивающего характера и должны рассматриваться во всех отношениях только в качестве примера.