формирователь изображения

Формула изобретения

Формирователь изображения, содержащий блок оптического приема изображения, оснащенный фотоэлектрическим преобразователем, контроллер, первый блок памяти изображения, первый выход которого связан с первым входом корреляционного анализатора, при этом информационный выход прямой развертки блока оптического приема изображения связан с первым входом первого блока памяти изображения, а первый выход контроллера соединен с управляющим входом первого блока памяти изображения, отличающийся тем, что он дополнительно содержит вычислительный процессор, второй блок памяти изображения и блок хранения фонового кадра, при этом блок оптического приема изображения выполнен на основе КМОП фотоэлектрического преобразователя с бегущим электронным затвором с возможностью синхронного формирования кадров с противоположно направленными развертками, корреляционный анализатор выполнен многоканальным с возможностью синхронного сравнения сигналов по его первому и третьему входам с сигналом, поданным на второй вход корреляционного анализатора, а также сравнения между собой сигналов, поступивших на первый и третий входы корреляционного анализатора, причем второй выход контроллера подключен к управляющему входу блока оптического приема изображения непосредственно или через задатчик адресов считываемых пикселей фотоэлектрического преобразователя, второй выход первого блока памяти изображения подключен к первому информационному входу вычислительного процессора, второй вход первого блока памяти изображения подключен к первому выходу вычислительного процессора, третий выход первого блока памяти изображения подключен к информационному входу блока хранения фонового кадра, второй вход корреляционного анализатора связан с первым выходом блока хранения фонового кадра, третий вход корреляционного анализатора связан с первым выходом второго блока памяти изображения, первый выход корреляционного анализатора связан с третьим входом первого блока памяти изображения, второй выход корреляционного анализатора связан со вторым входом второго блока памяти изображения, выход встречной развертки блока оптического приема изображения подключен к первому входу второго блока памяти изображения, второй выход блока хранения фонового кадра связан с третьим входом второго блока памяти изображения, управляющий вход блока хранения фонового кадра подключен к третьему выходу контроллера, управляющий вход второго блока памяти изображения соединен с четвертым выходом контроллера, пятый выход контроллера подключен к управляющему входу вычислительного процессора, второй информационный вход вычислительного процессора подключен ко второму выходу второго блока памяти изображения, а второй выход вычислительного процессора связан с четвертым входом второго блока памяти изображения, при этом вычислительный процессор выполнен с возможностью сортировки пикселей изображений фона и движущихся объектов под управлением корреляционного анализатора, а также преобразования координат пикселей движущихся объектов согласно формулам



где х и у - координаты точки формируемого изображения по горизонтали и по вертикали соответственно, пиксель;

x₁ и у₁ - соответствующие координаты той же точки изображения, в котором вертикальная составляющая вектора скорости движущегося объекта совпадает с направлением вертикальной развертки, пиксель;

х₂ и у₂ - соответствующие координаты той же точки изображения, в котором вертикальная составляющая вектора скорости движущегося объекта противоположна направлению вертикальной развертки, пиксель;

L' - максимальный размер по вертикали движущегося объекта в изображении, направление вертикальной развертки которого совпадает с вертикальной составляющей вектора скорости движущегося объекта, пиксель;

L - максимальный размер по вертикали движущегося объекта в изображении, направление вертикальной развертки которого противоположно вертикальной составляющей вектора скорости движущегося объекта, пиксель;

h - высота объекта в скорректированном изображении, пиксель, определяемая по формуле



где H - высота активной светочувствительной области фотоэлектрического преобразователя, пиксель.

Описание изобретения к патенту

Изобретение относится к телевизионной технике. Наиболее эффективно его использовать в составе телевизионных систем охранного наблюдения, а также мониторинга движущихся объектов в различных технологических процессах.

Известен формирователь изображения, содержащий источник светового излучения, сканирующее устройство, выполненное с возможностью отклонения светового излучения и считывания оптического сигнала для поочередной съемки участков исследуемого объекта, и блок индикации. Для увеличения площади сканирования узел отклонения светового излучения и считывания оптического сигнала выполнен многолучевым (US 20050094234, G02B 26/08, 2005; US 20050018268, G02B 26/08, 2005).

Однако данное устройство не позволяет осуществлять наружное наблюдение объектов без их подсветки, что ограничивает его область применения.

Известен также формирователь изображения, содержащий блок оптического приема изображения, оснащенный КМОП фотоэлектрическим преобразователем (ФЭП) с бегущим затвором, подключенный к модулю обработки и формирования изображения, включающему блок памяти (БП) изображений, БП координат участков изображения и вычислительный узел, выполненный с возможностью преобразования координат участков изображения в зависимости от рассогласования координат участков текущего и ранее отснятого базового изображений (JP 2006058945, G06T 3/00, H04N 1/04, H04N 1/40, 2006). Для повышения точности формирования изображения движущегося объекта блок памяти выполнен с возможностью хранения большого массива участков последовательно захваченных кадров, а вычислительный узел выполнен с возможностью расчета и усреднения векторов движения участков изображения (JP 2007180734, H04N 5/232, H04N 101/00, 2007).

Недостаток таких устройств заключается в низкой точности формирования изображения из-за необходимости длительного удержания объекта в поле зрения для отснятия большого массива запоминаемых кадров. Поэтому данные устройства не могут работать в режиме реального времени, особенно при высокой скорости движения наблюдаемого объекта.

Наиболее близким к заявляемому является формирователь изображения, содержащий блок оптического приема изображения, выполненный на базе оптического микроскопа и оснащенный ФЭП, встроенным в цифровую фотокамеру, контроллер, БП изображения, первый выход которого связан с первым входом корреляционного анализатора (КА). Информационный выход прямой развертки блока оптического приема изображения связан с первым входом БП изображения. Выход контроллера соединен с управляющим входом БП изображения, используемым для хранения участков изображения, а также с исполнительным механизмом перемещения блока оптического приема изображения (RU 2304807, G06K 9/36, 2007).

Однако данное устройство не позволяет корректно формировать изображения, в которых присутствуют отдельные движущиеся объекты, особенно при движении с различными скоростями. Кроме того, выполнение блока оптического приема изображения на базе сканирующего микроскопа ограничивает область применения устройства. По этой причине оно принципиально неприемлемо в системах охранного наблюдения.

Технической задачей предлагаемого изобретения является повышение точности формирования изображения движущихся объектов.

Новый принцип действия предлагаемых технических решений заключается в синхронном формировании опорного и корректирующего изображений одного и того же кадра с противоположно направленными развертками с последующим их анализом с помощью корреляционного анализатора для выявления изменения координат движущихся объектов с последующим расчетом и формированием передаваемого изображения без геометрических искажений движущихся объектов. Здесь и далее под опорным изображением понимается изображение движущегося объекта, сформированное из расчета совпадения направления вертикальной развертки с направлением вертикальной составляющей вектора скорости наблюдаемого объекта. Под корректирующим изображением понимается изображение движущегося объекта, сформированное из расчета направления вертикальной развертки противоположно направлению вертикальной составляющей вектора скорости наблюдаемого объекта.

Указанный принцип действия реализует установленное автором наблюдение: при совпадении направления вертикальной составляющей вектора скорости движущегося объекта и направления вертикальной развертки изображение движущегося объекта будет более растянутым по вертикали по сравнению с изображением при их противоположной направленности. (Пилипко Н.Е., Рычажников А.Е. Особенности работы КМОП фотоприемника в режиме бегущего затвора. Известия СПбГЭТУ «ЛЭТИ», Изд. СПбГЭТУ «ЛЭТИ», 2008, № 1, с.40-54). Алгоритм определения, какой из каналов содержит опорное, а какой - корректирующее изображение заключается в сравнении максимальных размеров по вертикали выделенных с помощью КА движущихся объектов. При этом канал, в котором максимальный размер движущегося объекта по вертикали будет наибольшим, является опорным для данного объекта.

Решение указанной технической задачи заключается в том, что в конструкцию формирователя изображения, содержащего блок оптического приема изображения, оснащенный фотоэлектрическим преобразователем, контроллер, первый блок памяти изображения, первый выход которого связан с первым входом корреляционного анализатора, при этом информационный выход прямой развертки блока оптического приема изображения связан с первым входом первого блока памяти изображения, а первый выход контроллера соединен с управляющим входом первого блока памяти изображения, вносятся следующие изменения:

1) формирователь изображения дополнительно содержит вычислительный процессор, второй БП изображения и блок хранения фонового кадра;

2) блок оптического приема изображения выполнен на основе КМОП ФЭП с бегущим электронным затвором с возможностью синхронного формирования кадров с противоположно направленными развертками;

3) КА выполнен многоканальным с возможностью синхронного сравнения сигналов по его первому и третьему входам с сигналом, поданным на второй вход корреляционного анализатора, а также сравнения между собой сигналов, поступивших на первый и третий входы корреляционного анализатора;

4) второй выход контроллера подключен к управляющему входу блока оптического приема изображения непосредственно или через задатчик адресов считываемых пикселей ФЭП;

5) второй выход первого БП изображения подключен к первому информационному входу вычислительного процессора;

6) второй вход первого БП изображения подключен к первому выходу вычислительного процессора;

7) третий выход первого БП изображения подключен к информационному входу блока хранения фонового кадра;

8) второй вход КА связан с первым выходом блока хранения фонового кадра;

9) третий вход КА связан с первым выходом второго БП изображения;

10) первый выход КА связан с третьим входом первого БП изображения;

11) второй выход КА связан со вторым входом второго БП изображения;

12) выход встречной развертки блока оптического приема изображения подключен к первому входу второго БП изображения;

13) второй выход блока хранения фонового кадра связан с третьим входом второго БП изображения;

14) управляющий вход блока хранения фонового кадра подключен к третьему выходу контроллера;

15) управляющий вход второго БП изображения соединен с четвертым выходом контроллера;

16) пятый выход контроллера подключен к управляющему входу вычислительного процессора;

17) второй информационный вход вычислительного процессора подключен ко второму выходу второго БП изображения;

18) второй выход вычислительного процессора связан с четвертым входом второго БП изображения;

19) вычислительный процессор выполнен с возможностью сортировки пикселей изображений фона и движущихся объектов под управлением корреляционного анализатора, а также преобразования координат пикселей движущихся объектов согласно формулам:

(1)

где x и y - координаты точки формируемого изображения по горизонтали и по вертикали соответственно, пиксель;

x₁ и y ₁ - соответствующие координаты той же точки изображения, в котором вертикальная составляющая вектора скорости движущегося объекта совпадает с направлением вертикальной развертки, пиксель;

x₂ и y₂ - соответствующие координаты той же точки изображения, в котором вертикальная составляющая вектора скорости движущегося объекта противоположна направлению вертикальной развертки, пиксель;

L' - максимальный размер по вертикали движущегося объекта в изображении, направление вертикальной развертки которого совпадает с вертикальной составляющей вектора скорости движущегося объекта, пиксель;

L - максимальный размер по вертикали движущегося объекта в изображении, направление вертикальной развертки которого противоположно вертикальной составляющей вектора скорости движущегося объекта, пиксель;

h - высота объекта в скорректированном изображении, пиксель, определяемая по формуле

,

где Н - высота активной светочувствительной области фотоэлектрического преобразователя, пиксель.

Многоканальный корреляционный анализатор для предлагаемого устройства может быть выполнен на базе двух микросхем GP1020 (Zarlink). Однако наиболее целесообразна техническая реализация корреляционного анализатора, вычислительного процессора и контроллера на базе одной программируемой логической интегральной схемы, например ЕР3С10АТС144 (Altera Corp.).

На фиг.1 приведена блок-схема предлагаемого формирователя изображения; на фиг.2 и 3 приведены блок-схемы возможных вариантов выполнения блока оптического приема изображения.

Формирователь изображения (фиг.1) содержит блок 1 оптического приема изображения, оснащенный фотоэлектрическим преобразователем, контроллер 2, первый БП 3 изображения, первый выход которого связан с первым входом многоканального КА 4. Информационный выход прямой развертки блока 1 оптического приема изображения связан с первым входом первого БП 3 изображения. Первый выход контроллера 2 соединен с управляющим входом первого БП 3 изображения. Формирователь изображения дополнительно содержит вычислительный процессор 5, второй БП 6 изображения и блок 7 хранения фонового кадра. При этом блок 1 оптического приема изображения выполнен на основе КМОП ФЭП с бегущим электронным затвором с возможностью синхронного формирования кадров с противоположно направленными развертками; второй выход контроллера 2 подключен к управляющему входу блока 1 оптического приема изображения; второй выход первого БП 3 изображения подключен к первому информационному входу вычислительного процессора 5; второй вход первого БП 3 изображения подключен к первому выходу вычислительного процессора 5; третий выход первого БП 3 изображения подключен к информационному входу блока 7 хранения фонового кадра; второй вход многоканального КА 4 связан с первым выходом блока 7 хранения фонового кадра, третий вход многоканального КА 4 связан с первым выходом второго БП 6 изображения; первый выход многоканального КА 4 связан с третьим входом первого БП 3 изображения; второй выход многоканального КА 4 связан со вторым входом второго БП 6 изображения; выход встречной развертки блока 1 оптического приема изображения подключен к первому входу второго БП 6 изображения, второй выход блока 7 хранения фонового кадра связан с третьим входом второго БП 6 изображения; управляющий вход блока 7 хранения фонового кадра подключен к третьему выходу контроллера 2; управляющий вход второго БП 6 изображения соединен с четвертым выходом контроллера 2; пятый выход контроллера 2 подключен к управляющему входу вычислительного процессора 5; второй информационный вход вычислительного процессора 5 подключен ко второму выходу второго БП 6 изображения; второй выход вычислительного процессора 5 связан с четвертым входом второго БП 6 изображения. Многоканальный КА 4 выполнен с возможностью синхронного сравнения сигналов по его первому и третьему входам с сигналом, поданным на второй вход КА 4 (на первом и втором каналах соответственно), а также сравнения между собой сигналов, поступивших на первый и третий входы (третий канал) КА 4. Вычислительный процессор 5 выполнен с возможностью сортировки пикселей изображений фона и движущихся объектов под управлением КА 4, а также преобразования координат пикселей движущихся объектов согласно формулам (1).

Второй выход контроллера может быть подключен к управляющему входу блока оптического приема изображения непосредственно (фиг.2) или через задатчик адресов считываемых пикселей ФЭП (фиг.3).

В варианте фиг.2 блок 1 оптического приема изображения включает последовательно соединенные объектив 8, светоделитель 9 и подключенные к его выходам два параллельных канала фотоэлектрического преобразования светового потока в изображения с противоположно направленными развертками. В каждом из этих каналов последовательно включены КМОП ФЭП (поз.10 и 10'), стек FIFO (поз.11 и 11') и усилитель-преобразователь (поз.12 и 12').

Информационный световой поток изображения, пройдя через объектив 8 и светоделитель 9, попадая на ФЭП 10 и 10', преобразуется ими в электрический сигнал пропорционально интенсивности данного светового потока. При этом аналого-цифровые преобразователи, встроенные в ФЭП 10 и 10', передают для запоминания в стеки 11 и 11' FIFO последовательность цифровых данных, соответствующих отсчетам сигналов от элементарных ячеек фоточувствительных областей ФЭП 10 и 10'. Организация стеков 11 и 11' в виде FIFO позволяет хранить в них принятое изображение построчно с выталкиванием наиболее ранних из принятых данных для обновления информации и согласования скорости ее поступления со скоростью дальнейшей обработки. При этом противоположная направленность разверток в каналах обеспечивается соответствующим взаиморасположением КМОП ФЭП 10 и 10', а синхронность формирования кадров обеспечивается синхронизирующим импульсом, поступающим на управляющие входы указанных ФЭП с выхода 2 контроллера 2. Усилители-преобразователи 12 и 12' выполняют фильтрацию и нормирование выходных сигналов блока 1 оптического приема изображения. При формировании КМОП ФЭП 10 и 10' совместно с возможностью их освещения от одного источника необходимость включения светоделителя 9 отпадает.

В варианте фиг.3 каналы прямой и встречной развертки выполнены с использованием одного КМОП ФЭП, адресный вход которого соединен с задатчиком 13 адресов пикселей, управляемым синхронизирующими импульсами с выхода 2 контроллера 2. При этом противоположная направленность разверток в каналах обеспечивается заданием соответствующих адресов синхронно считываемых пикселей ФЭП 10.

Формирователь изображения (фиг.1) работает следующим образом. Контроллер 2 задает циклограмму работы устройства. По сигналу со второго выхода (« ») контроллера 2 блок 1 оптического приема изображения формирует два изображения с противоположно направленными развертками. Данные этих изображений синхронно поступают в первый БП 3 изображения и второй БП 6 изображения соответственно. При этом переключением адресов (пикселей) первого БП 3 изображения и второго БП 6 изображения контроллер 2 управляет по своим первому и четвертому выходам соответственно, причем каждому элементу изображений выделяется память для хранения информации о яркости и цвете, а также для нижеуказанной служебной информации, используемой в процессе формирования итогового изображения с устраненными геометрическими искажениями движущихся объектов. После сохранения исходных изображений в блоках 3 и 6 они с помощью многоканального КА 4 сравниваются с соответствующими элементами фонового изображения, захваченного ранее и хранящегося в блоке 7. Переключение адресов блока 7 осуществляется сигналом с третьего выхода контроллера 2. Пиксели изображений, не совпадающие с соответствующими пикселями фонового кадра, отмечаются как принадлежащие движущемуся объекту. Одновременно происходит корреляционное сравнение данных изображений, хранящихся в блоках 3 и 6, между собой для определения нового кадра фона.

После завершения корреляционного анализа данных изображений контролер 2 по пятому выходу инициирует работу вычислительного процессора 5, который последовательно для каждого текущего пикселя производит анализ всех соседних ему пикселей. Вычислительный процессор 5 производит операции селекции разных движущихся объектов, определения точек, лежащих внутри объекта или на его границе, и определения максимальных вертикальных размеров обнаруженных движущихся объектов. Правила интерпретации связности соседних пикселей, например по вертикали, горизонтали и/или диагонали, задаются контроллером 2 и могут быть изменены путем изменения соответствующих настроек.

Пиксели, отмеченные КА 4 как принадлежащие движущемуся объекту и находящиеся непосредственно рядом друг с другом, маркируются вычислительным процессором 5 как принадлежащие одному и тому же объекту.

Пиксели, принадлежащие движущемуся объекту и граничащие только с пикселями, принадлежащими тому же объекту, маркируются им как внутренние пиксели данного объекта.

Пиксели, принадлежащие движущемуся объекту и граничащие с фоновыми пикселями, маркируются как принадлежащие границе объекта.

Вычислительный процессор 5 определяет также максимальные вертикальные размеры движущихся объектов в изображениях, сформированных с противоположными развертками, и сравнивает их для установления, каким именно для каждого из обнаруженных движущихся объектов является изображение, хранящееся в первом БП 3 изображения - опорным или корректирующим.

Затем контроллер 2 выполняет операцию переноса фонового кадра из блока 7 хранения фонового кадра во второй БП 6 изображения с заменой хранящегося там изображения на фоновое. Если вычислительный процессор 5 при анализе кадра не обнаружил отличий между изображениями, сформированными с противоположными развертками, он выдает по своему первому выходу разрешение на перенос изображения из блока 3 в блок 7. Этот перенос происходит по команде контроллера 2 синхронно с переносом предыдущего кадра фона из блока 7 в блок 6.

Затем вычислительный процессор 5 по формулам (1) преобразует координаты пикселей, принадлежащих движущимся объектам в изображении, хранящимся в блоке 3, и формирует в блоке 6 скорректированные изображения движущихся объектов на находящемся в нем к этому моменту изображении фона. При этом итоговое изображение может быть считано с выхода блока 6, являющегося выходом всего устройства.

Далее циклы работы устройства повторяются.

Использование изобретения позволяет повысить точности формирования изображения движущихся объектов за счет передачи их формы без искажения, что подтверждено математическим моделированием работы устройства в условиях перемещения движущихся объектов со скоростями, не превышающими скоростей горизонтальной и вертикальной разверток ФЭП.