способ измерения скорости движения протяженных объектов

Формула изобретения

Способ измерения параметров движения протяженного объекта со случайным распределением яркостей, основанный на проецировании его изображения на экран приемника излучения, выделении в изображении прямоугольной области и преобразовании элементов изображения в электрические сигналы, пропорциональные яркости изображений в выделенной области, дополнительном выделении второй прямоугольной области, границы которой ориентированы параллельно границам первой области, и получении в каждой из выделенных областей сигналов, пропорциональных средним значениям яркости, отличающийся тем, что, с целью повышения точности измерения, на текущем кадре выделяется прямоугольная область, для которой рассчитывается гистограмма, получаемая путем суммирования уровней яркости пикселей каждого столбца шириной в один пиксель, на последующем кадре выделяется полоса, верхняя и нижняя граница которой соответствуют выделенной прямоугольной области текущего кадра с аналогичными координатами верхней и нижней границы, для выделенной полосы также рассчитывается гистограмма, далее внутри выделенной полосы производится поиск правдоподобной эквивалентной прямоугольной области по значению наименьшей суммы квадратов разности между соответствующими элементами гистограмм выделенной прямоугольной области текущего кадра и последовательно анализируемых аналогичных областей выделенной полосы последующего кадра, элементы гистограмм представляют собой совокупность столбцов шириной в один пиксель, после чего строится расширенная прямоугольная область вокруг правдоподобной эквивалентной прямоугольной области, в ней выделяется массив аналогичных областей, для которых производится сравнение гистограммы выделенной прямоугольной области текущего кадра и гистограмм аналогичных прямоугольных областей, эквивалентных по размеру выделенной прямоугольной области, если среди эквивалентных прямоугольных областей расширенной прямоугольной области найдена такая прямоугольная область, величина сравнения элементов гистограммы которой меньше результата сравнения гистограммы правдоподобной эквивалентной области, то такая область будет в свою очередь считаться правдоподобной эквивалентной областью, для нее производится новый аналогичный цикл сравнения до тех пор, пока в последующем цикле результаты сравнения не будут иметь худшее совпадение, нежели чем в предыдущем цикле, после чего производится расчет смещения выделенной прямоугольной области относительно эквивалентной правдоподобной области, что соответствует значению смещения изображения протяженного объекта за период следования кадров, найденное значение смещения используется для расчета скорости движения протяженного объекта.

Описание изобретения к патенту

Изобретение относится к области цифровой измерительной техники.

Известны способ и устройство /1/ для измерения скорости движения протяженных объектов. В основе одного из способов и реализованного на его основе устройства лежит непрерывное излучение СВЧ-сигнала, прием отраженного от объекта сигнала и его последующая обработка после гомодинного преобразования. Затем осуществляется обработка выборок сигнала с помощью дискретного преобразования Фурье с использованием алгоритма Герцеля, при этом в промежутках между выборками определяют значение промежуточного преобразования выборки сигнала, основная часть вычислений производится в промежутках между выборками, применяют весовую обработку входных данных, суммирование входных данных с наложением во времени, "скачущее" дискретное преобразование Фурье.

Недостатком является низкая функциональная возможность, поскольку измеритель обязательно должен устанавливаться вдоль оси движения объекта и при наличии многих объектов необходимо использовать много измерителей.

Так же известен способ /2/ осуществления в реальном масштабе времени идентификации и локализации зоны с относительным перемещением в сцене, наблюдаемой системой наблюдения с выходным сигналом, состоящим из цифрового видеосигнала, содержащего последовательность соответствующих кадров, каждый из которых состоит из последовательности строк, каждая из которых состоит из последовательности элементов изображения, и для определения скорости и ориентированного направления перемещения, производится выполнение следующей последовательности операций над цифровым выходным видеосигналом: обработку сглаживания указанного цифрового выходного видеосигнала с использованием цифровой постоянной времени, численное значение которой может изменяться независимо для каждого элемента изображения выходного сигнала, запоминание, с одной стороны, кадра выходного сигнала после сглаживания и, с другой стороны, постоянной времени сглаживания, связанной с указанным кадром, временную обработку для каждого положения элемента изображения, заключающуюся в определении, во-первых, наличия и, во-вторых, амплитуды значимого изменения в амплитуде сигнала элемента изображения между текущим кадром и непосредственно предыдущим сглаженным и запомненным кадром, и в генерировании двух цифровых сигналов, при этом первый сигнал является двоичным, или однобитовым, сигналом с двумя возможными значениями, одно из которых представляет наличие, а другое представляет отсутствие значимого изменения между двумя последовательными кадрами, причем значение указанного двоичного сигнала изменяет запомненное значение указанной постоянной времени, чтобы уменьшить его, если указанный сигнал представляет значимое изменение, и чтобы увеличить его, если указанный сигнал не представляет такого изменения, при этом уменьшение или увеличение осуществляются количественно, тогда как второй цифровой сигнал, т.е. сигнал амплитуды, является многобитовым сигналом с ограниченным числом битов, количественно определяющих амплитуду этого изменения, и пространственную обработку, состоящую из следующих этапов для каждого кадра цифрового выходного видеосигнала: распределяют только значения части элементов изображения в кадре в заданный момент наблюдения (части, которую сканируют по матрице в течение длительности кадра), во-первых, указанного двоичного сигнала, а во-вторых, указанного цифрового сигнала амплитуды, в матрицу с числом рядов и столбцов, которое мало по сравнению с числом строк и числом элементов изображения в строке в видеосигнале, соответственно, чтобы охарактеризовать значения элементов изображения, определяют в этом двойном мгновенном матричном представлении конкретную зону, в которой указанный двоичный сигнал имеет искомое значение, представляющее наличие или отсутствие значимого изменения, а указанный цифровой сигнал амплитуды изменяется или не изменяется на значимую величину для соседних элементов изображения в матрице вдоль ориентированного направления, начиная с исходного элемента изображения, в той же самой части кадра, и поэтому в тот же самый момент наблюдения, и генерируют сигналы, представляющие наличие и локализацию зоны с относительным перемещением и относительную межкадровую скорость, и ориентированное направление этого перемещения, если оно есть, относительно окружающей ее среды, исходя из мгновенного матричного распределения упомянутых двух цифровых сигналов - двоичного сигнала и сигнала амплитуды.

Недостатком данного способа является высокая погрешность измерения параметров подвижного протяженного объекта, обусловленная вибрацией видеокамеры, вызванной движением объекта.

Так же известен способ /3, 4/ измерения параметров движения протяженных объектов, который включает в себя пороговую обработку текущего и предыдущего кадров, а так же нахождение разности между уровнями яркости соответствующих пикселей каждого из кадров, после чего выявляются области с наибольшей яркостью, которые несут информацию о смещении протяженного объекта. Среди таких областей выбирается область, произведение высоты и шириной которой наибольшая. По ширине выбранной области вычисляется смещение протяженного объекта за время смены кадров.

Недостатком данного способа является низкая производительность вычислений за счет обработки всего кадра и высокая погрешность измерения параметров протяженного подвижного объекта, обусловленная вибрацией видеокамеры, вызванной движущимся объектом измерения.

Наиболее близким по технической сущности к предлагаемому способу является способ измерения параметров движения протяженного объекта со случайным распределением яркостей, основанный на проецировании его изображения на экран приемника излучения, выделении в изображении прямоугольной области и преобразовании элементов изображения в электрические сигналы, пропорциональные яркости изображений в выделенной области, дополнительном выделении второй прямоугольной области, границы которой ориентированы параллельно границам первой области, и получении в каждой из выделенных областей сигналов, пропорциональных средним значениям яркости /5/.

Недостатком данного способа является высокая погрешность измерения, обусловленная вибрацией камеры, вызванной движением объекта.

В основу предлагаемого изобретения поставлена задача повышения точности измерения параметров движения протяженного объекта при наличии вибрации видеокамеры, вызванной движением объекта, параметры которого измеряются.

Оптическая ось видеокамеры устанавливается перпендикулярно направлению движения объекта. Направление движения объекта, его начало, положение изображения объекта на кадре видеокамеры - известны. Предлагаемый способ предусматривает измерение скорости движения протяженного объекта в реальном масштабе времени.

Для достижения поставленной цели на текущем i-м кадре осуществляется выделение горизонтальной полосы по всей длине кадра с количеством Х пикселей по длине кадра и высотой n пикселей. Полоса выделяется в области, где происходит отображение движения протяженного объекта. На горизонтальной полосе выделяется прямоугольная область, размер которой составляет m×n, где n - высота прямоугольной области в пикселях, m - длина в пикселях. На следующем кадре i+1 также выделяется горизонтальная полоса с координатами, соответствующими координатам полосы текущего i-го кадра. Для выделенной горизонтальной полосы кадра i+1 производится расчет гистограммы по следующему правилу: по всей длине полосы для каждого столбца шириной в один пиксель производится суммирование уровня яркости всех n пикселей. Для выделенной прямоугольной области размером m×n на i-м кадре также производится расчет гистограммы по правилу: для каждого из m столбцов шириной в один пиксель производится суммирование уровня яркости всех n пикселей.

Выделенная горизонтальная полоса на следующем i+1 кадре разбивается на Х-m аналогичных прямоугольных областей, размеры которых m×n аналогичны (равны) выделенной прямоугольной области текущего i-го кадра. Эти области в дальнейшем называются аналогичными. Аналогичные области выделяются по всей длине выделенной горизонтальной полосы, начиная с нулевой координаты слева, двигаясь в правую сторону с шагом в один пиксель. Таким образом, координаты соседних аналогичных областей по горизонтальной оси отличаются на 1 пиксель, а ширина каждой области равна величине m. Набор этих областей образуют линейный массив q прямоугольных областей. Для каждой из аналогичных областей выделяется соответствующий участок гистограммы горизонтальной полосы следующего i+1 кадра.

Сравнение выделенной прямоугольной области текущего i-го кадра и каждой аналогичной области горизонтальной полосы следующего i+1 кадра производится по следующему правилу: вычисляется сумма значений квадратов разности между элементами гистограммы выделенной прямоугольной области текущего i-го кадра и соответствующими элементами гистограммы аналогичной прямоугольной области горизонтальной полосы следующего i+1 кадра:

где f - номер столбца прямоугольной области шириной в один пиксель и высотой n пикселей;

h(f) - сумма уровня яркости пикселей в рамках столбца f;

q - номер аналогичной прямоугольной области.

Минимальное значение массива Q(q) соответствует аналогичной прямоугольной области, которая по своим характеристикам наиболее правдоподобна выделенной прямоугольной области на текущем i-м кадре. Такая прямоугольная область называется правдоподобной эквивалентной областью.

Смещение изображения при наличии вибрации видеокамеры, вызванной движением объекта, в общем случае может составлять несколько пикселей. Поэтому вокруг правдоподобной эквивалентной области на следующем кадре i+1 выделяется расширенная прямоугольная область, высота которой равна n+2 пикселей (от n-1 до n+1 пикселей), а длина составляет m+2 пикселей (от m-1 до m+1 пикселей), тем самым получается расширенная прямоугольная область с центральным элементом, соответствующим найденной правдоподобной эквивалентной прямоугольной области. Кроме центрального элемента внутри расширенной прямоугольной области выделяется новый массив q из 8-ми аналогичных прямоугольных областей, смещенных на один пиксель относительно центрального элемента (влево, вправо, вверх, вниз). Для каждой из этих областей рассчитываются гистограмма и сумма значений квадратов разности, как описано выше. После этого вновь вычисляется минимальное значение массива Q(q). Если вновь найденное минимальное значение меньше ранее найденного минимального значения соответствующего правдоподобной эквивалентной области, то такая аналогичная область, в свою очередь, становится правдоподобной эквивалентной областью. После чего повторно выделяется расширенная прямоугольная область с высотой n+2 пикселей и длиной m+2 пикселей вокруг новой найденной правдоподобной эквивалентной прямоугольной области. Цикл повторяется до тех пор, пока вновь найденное минимальное значение не будет больше ранее найденного минимального значения правдоподобной эквивалентной прямоугольной области. Значение смещения изображения следующего i+1 кадра относительно текущего i-го, соответствующее минимальному значению Q(q), принимается за результат измерения смещения изображения в s пикселей.

За период следования кадров объект перемещается по горизонтали на расстояние S, а соответствующее объекту изображение смещается на s пикселей.

Для определения смещения s изображения объекта необходимо:

а) найти координаты левого нижнего угла выделенной прямоугольной области текущего i-го кадра (x_i, y_i);

б) найти координаты левого нижнего угла правдоподобной эквивалентной прямоугольной области следующего i+1 кадра (x_i+1, y_i+1);

в) найти корень квадратный из суммы квадратов разностей ординат и абсцисс соответственно:

Для определения физической скорости движения протяженного объекта используется формула:

где s - смещение изображения протяженного объекта за время смены кадров;

Fps - колличество кадров в секунду;

Х - ширина кадра в пикселях;

k - коэффициент соотношения сторон кадра;

L - расстояние от объектива видеокамеры до протяженного объекта;

- угол обзора видеокамеры.

На фиг.1 представлен текущий i-й кадр с выделенной горизонтальной полосой.

На фиг.2 представлен текущий i-й кадр с выделенной прямоугольной областью.

На фиг.3 представлен следующий i+1 кадр с выделенной горизонтальной полосой.

На фиг.4 представлена гистограмма для полосы по всей длине Х кадра и высотой n пикселей для текущего i-го кадра, а также участок, соответствующий выделенной прямоугольной области шириной m пикселей.

На фиг.5 представлен участок гистограммы для следующего i-го кадра, соответствующий выделенной прямоугольной области шириной m пикселей.

На фиг.6 представлена гистограмма для полосы по всей длине кадра X и высотой n пикселей для следующего i+1 кадра, а так же участок со штрихпунктирным выделением, соответствующий правдоподобной эквивалентной прямоугольной области шириной m пикселей.

На фиг.7 представлено выделение аналогичных прямоугольных областей, образующих линейный массив q.

На фиг.8 представлен участок гистограммы для следующего i+1-ого кадра, соответствующий правдоподобной эквивалентной прямоугольной области шириной m пикселей.

На фиг.9 представлена графическая зависимость, показывающая относительное смещение гистограмм в пикселях (ось абсцисс) и уровень совпадения гистограмм между собой (ось ординат).

На фиг.10 представлен следующий i+1 кадр с расширенной прямоугольной областью вокруг правдоподобной прямоугольной области.

На фиг.11 представлена гистограмма аналогичной прямоугольной области, находящейся в расширенной прямоугольной области, со смещением вверх и влево на 1 пиксель относительно правдоподобной эквивалентной области.

На фиг.12 представлена гистограмма аналогичной прямоугольной области, находящейся в расширенной прямоугольной области, со смещением влево на 1 пиксель относительно правдоподобной эквивалентной области.

На фиг.13 представлена гистограмма аналогичной прямоугольной области, находящейся в расширенной прямоугольной области, со смещением вниз и влево на 1 пиксель относительно правдоподобной эквивалентной области.

На фиг.14 представлена гистограмма аналогичной прямоугольной области, находящейся в расширенной прямоугольной области, со смещением вверх на 1 пиксель относительно правдоподобной эквивалентной области.

На фиг.15 представлена гистограмма аналогичной прямоугольной области, находящейся в расширенной прямоугольной области, со смещением вниз на 1 пиксель относительно правдоподобной эквивалентной области.

На фиг.16 представлена гистограмма аналогичной прямоугольной области, находящейся в расширенной прямоугольной области, со смещением вверх и вправо на 1 пиксель относительно правдоподобной эквивалентной области.

На фиг.17 представлена гистограмма аналогичной прямоугольной области, находящейся в расширенной прямоугольной области, со смещением вправо на 1 пиксель относительно правдоподобной эквивалентной области.

На фиг.18 представлена гистограмма аналогичной прямоугольной области, находящейся в расширенной прямоугольной области, со смещением вниз и вправо на 1 пиксель относительно правдоподобной эквивалентной области.

На фиг.19 совмещены гистограммы прямоугольных областей текущего i-го кадра и эквивалентной правдоподобной прямоугольной области следующего i+1 кадра.

На фиг.20 представлен алгоритм работы автоматизированной системы измерения параметров движения протяженного объекта на базе предлагаемого способа.

На фиг.21 представлен возможный интерфейс программного обеспечения для измерения параметров движения протяженного объекта.

Система включается в работу (блок № 2 на фиг.20) после того, как объект войдет в зону контроля (блок № 1 на фиг.20) и будет сформирован соответствующий сигнал управления существующей системой (например АСУ сортировочной станции железнодорожного транспорта). Далее начинает производиться съемка видеокамерой (устройство регистрации) с последующей передачей данных по каналу связи на ЭВМ (блок № 4 на фиг.20). Принимая данные, вычислительная машина фиксирует информацию. Экспериментальные данные записываются в базу данных для последующего математического анализа с помощью разработанного прикладного программного обеспечения.

Из сформированного массива изображений выбирается последовательность кадров для анализа (блок № 5 на фиг.20). Далее на текущем i-м кадре осуществляется выделение полосы по всей длине кадра Х и высотой n пикселей (фиг.1).

В левой части горизонтальной полосы выделяется прямоугольная область размером m×n (блок № 6 на фиг.20), где n - высота прямоугольной области в пикселях, m - длина в пикселях (фиг.2).

Для выделенной полосы на текущем i-м кадре производится расчет гистограммы по правилу: для каждого из Х столбцов шириной в один пиксель производится суммирование уровня яркости всех n пикселей (фиг.4). На этой гистограмме выделяется часть, соответствующая прямоугольной области размером m×n (фиг.5, блок № 7 на фиг.20). Эта часть расположена между вертикальными сплошными линиями на фиг.4.

На следующем кадре i+1 также выделяется горизонтальная полоса с координатами, соответствующими координатам полосы текущего i-го кадра (фиг.3, блок № 8 на фиг.20).

Для нее также производится расчет гистограммы по следующему правилу: по всей длине Х выделенной горизонтальной полосы для каждого столбца шириной в один пиксель производится суммирование уровня яркости всех n пикселей (фиг.6, блок № 9 на фиг.20).

В рамках выделенной горизонтальной полосы на следующем кадре i+1 выделяются аналогичные по размеру прямоугольные области. Набор этих областей образуют линейный массив q прямоугольных областей. Линейный массив состоит из q=Х-m элементов (фиг.7).

Для каждой аналогичной области выделяется соответствующий участок гистограммы, рассчитанной для выделенной горизонтальной полосы на следующем кадре i+1.

Сравнение выделенной прямоугольной области текущего i-го кадра и каждой аналогичной прямоугольной области горизонтальной полосы следующего i+1 кадра производится по следующему правилу: вычисляется сумма значений квадратов разности между элементами гистограммы выделенной прямоугольной области текущего i-го кадра и соответствующими элементами гистограммы аналогичной прямоугольной области горизонтальной полосы следующего i+1 кадра:

.

Минимальное значение массива Q(q) соответствует эквивалентной прямоугольной области, гистограмма которой представлена на фиг.8. Гистограмма по уровню яркости соответствующих элементов наиболее правдоподобна выделенной прямоугольной области на текущем i-м кадре (фиг.8). На фиг.9 представлена графическая зависимость относительного смещения гистограмм от их уровня совпадения (блок № 10 на фиг.20). Минимальное значение смещения на графике соответствует наибольшему совпадению сравниваемых гистограмм.

Вокруг правдоподобной эквивалентной области на следующем кадре i+1 выделяется расширенная прямоугольная область, высота которой равна n+2 пикселей, а длина - m+2 пикселей (фиг.9, блок № 11 на фиг.20). Внутри расширенной прямоугольной области выделяется новый массив q из 8-ми эквивалентных прямоугольных областей (блок № 12 на фиг.20). Для каждой рассчитывается гистограмма (фиг.11-фиг.18, блок № 13 на фиг.20) и сумма значений квадратов разности, как описано выше. После этого опять вычисляется минимальное значение массива Q(q). Если найденное минимальное значение меньше минимального значения соответствующего правдоподобной эквивалентной области, то повторно выделяется расширенная прямоугольная область с высотой n+2 пикселей и длиной m+2 пикселей вокруг новой найденной правдоподобной прямоугольной области (блок № 14 на фиг.20). Цикл повторяется до тех пор, пока новое найденное минимальное значение не будет больше минимального значения правдоподобной прямоугольно области (блок № 15 на фиг.20).

За период следования кадров объект перемещается по горизонтали на расстояние S, а соответствующее объекту изображение смещается на s пикселей (блок № 16, № 17 на фиг.20):

После того, как объект перемещается за пределы зоны управления (блок № 18 на фиг.20), происходит выключения видеокамеры (фиг.20, блок № 19).

На основе предложенного способа была разработана и испытана автоматизированная система измерения скорости движения протяженных объектов. Испытания проводились на сортировочной станции Кинель Куйбышевской железной дороги. Измерялась скорость движения отцепов (вагонов) на сортировочной горке. Интерфейс программы с реализованным способом представлен на фиг.21.

Источники информации

1. Авт. свид. № 2229404, кл. В61L 17/00, 2000.

2. Авт. свид. № 99103620, кл. G06T 7/20, 2001.

3. Васин Н.Н., Куринский В.Ю. Метод измерения скорости движения железнодорожных вагонов на сортировочной горке. // Инфокоммуникационные технологии, 2005. - Т3. - № 1. - С.40-44.

4. Васин Н.Н., Куринский В.Ю. Обработка видеосигналов для измерения скорости движения железнодорожных вагонов на сортировочной горке // Компьютерная оптика, 2005. № 27. с.185-188.

5. Авт. свид. № 753244, кл. G01С 23/00, 2006.