устройство калибровки, система измерения расстояния, способ калибровки и программа калибровки

Формула изобретения

1. Устройство калибровки для калибровки параметра, относящегося к положениям двух устройств формирования изображения, причем параметр устанавливается в системе измерения расстояния, которая установлена в мобильном объекте и выполняет измерение расстояния посредством устройств формирования изображения, причем устройство калибровки содержит:

узел получения изображения, сконфигурированный для приема входных данных двух опорных изображений и множественных элементов данных параллакса, причем эти два опорных изображения захватываются одним из устройств формирования изображения в двух местоположениях, и данные параллакса вычисляются с использованием этих двух опорных изображений и двух соответственных изображений на основании положений множества характерных точек, общих для опорного изображения и соответственного изображения для каждой их пары на основании местоположения, причем эти два соответственных изображения захватываются другим из устройств формирования изображения в этих двух местоположениях;

узел поиска характерной точки, сконфигурированный для поиска множества характерных точек, общих для этих двух опорных изображений;

узел вычисления параллакса, сконфигурированный для вычисления параллаксов и величин изменения этих параллаксов на основании данных параллакса, относящихся к соответствующим характерным точкам в этих двух опорных изображениях для каждой из отыскиваемых характерных точек; и

узел вычисления корректирующего значения, сконфигурированный для вычисления корректирующего значения для параметра, относящегося к положениям устройств формирования изображения на основании вычисленных параллаксов и величин изменения этих параллаксов.

2. Устройство калибровки по п.1, причем узел вычисления корректирующего значения сконфигурирован для создания модельной кривой, используя вычисленные параллаксы и величины изменения этих параллаксов, и для вычисления корректирующего значения на основании модельной кривой.

3. Устройство калибровки по п.2, причем модельная кривая представляет собой квадратичную кривую, с которой сдвиг в направлении параллакса рассчитывается как корректирующее значение.

4. Устройство калибровки по п.2, дополнительно содержащее узел оценки достоверности, сконфигурированный для оценки наличия или отсутствия достоверности корректирующего значения на основании распределения параллаксов и дисперсии величин изменения параллакса относительно модельной кривой.

5. Устройство калибровки по п.4, в котором узел оценки достоверности извлекает только данные величин изменения параллакса, которые находятся в заданных пределах, из величин изменения параллакса на модельной кривой; вычисляет среднеквадратичное значение разностей между величинами изменения параллакса извлеченных данных и величинами изменения параллакса для соответствующих параллаксов на модельной кривой; и определяет меньше ли или равно пороговому значению расчетное среднеквадратичное значение.

6. Устройство калибровки по п.4, в котором узел оценки достоверности вычисляет пропорцию числа параллаксов, включенных в указанный диапазон параллаксов, и определяет, больше или равна заданной пропорции расчетная пропорция.

7. Устройство калибровки по любому из пп.1-6, дополнительно содержащее узел выполнения нормировки, сконфигурированный с возможностью нормировать величины изменения параллакса; и узел хранения данных, сконфигурированный для хранения нормированных величин изменения параллакса так, что они оказываются связанными с соответствующими параллаксами, причем

узел вычисления корректирующего значения вычисляет корректирующее значение для параметра, относящегося к положениям устройств формирования изображения на основании хранимых параллаксах и нормированных величин изменения параллакса.

8. Устройство калибровки по п.7, в котором узел выполнения нормировки вычисляет нормированную величину изменения параллакса посредством деления величины изменения параллакса на коэффициент пропорциональности квадратичной функции, представляющей модельную кривую.

9. Устройство калибровки по п.4, в котором узел оценки достоверности оценивает достоверность корректирующего значения на основании числа элементов данных, хранимых в узле хранения данных, причем узел хранения данных сконфигурирован для хранения величин изменения параллакса так, что они оказываются связанными с соответствующими параллаксами.

10. Система измерения расстояния, содержащая:

устройство калибровки по любому из пп.1-9;

два устройства формирования изображения с одним и тем же фокусным расстоянием, причем устройства формирования изображения разнесены между собой и расположены так, что соответствующие плоскости изображения находятся на одной и той же прямой линии;

устройство создания данных параллакса, сконфигурированное для вычисления и вывода множественных элементов данных параллакса, причем данные параллакса вычисляют с использованием этих двух опорных изображений и двух соответственных изображений на основании положений множества характерных точек, общих для опорного изображения и соответственного изображения для каждой их пары на основании местоположения, причем эти два соответственных изображения захватываются другим из устройств формирования изображения в этих двух местоположениях.

11. Система измерения расстояния по п.10, в котором устройство создания данных параллакса получает корректирующее значение от устройства калибровки, выполняет коррекцию для множественных элементов данных параллакса с использованием корректирующего значения и выводит скорректированные данные параллакса на устройство калибровки.

12. Способ калибровки для калибровки параметра, относящегося к положениям двух устройств формирования изображения, причем параметр устанавливают в системе измерения расстояния, которая устанавливается в мобильном объекте и выполняет измерение расстояния с устройствами формирования изображения, причем способ калибровки содержит:

этап приема входных данных двух опорных изображений и множественных элементов данных параллакса, причем эти два опорных изображения захватываются одним из устройств формирования изображения в двух местоположениях, и данные параллакса вычисляются с использованием этих двух опорных изображений и двух соответственных изображений на основании положений множества характерных точек, общих для опорного изображения и соответственного изображения для каждой их пары на основании местоположения, причем эти два соответственных изображения фиксируются другим из устройств формирования изображения в этих двух местоположениях;

этап поиска множества характерных точек, общих для этих двух опорных изображений;

этап вычисления параллаксов и величин изменения этих параллаксов на основании данных параллакса, относящихся к соответствующим характерным точкам в этих двух опорных изображениях для каждой из отыскиваемых характерных точек; и

этап вычисления корректирующего значения для параметра, относящегося к положениям устройств формирования изображения на основании вычисленных параллаксов и величин изменения этих параллаксов.

13. Способ калибровки по п.12, в котором этап вычисления корректирующего значения включает в себя создание модельной кривой с использованием вычисленных параллаксов и величин изменения этих параллаксов и вычисление корректирующего значения на основании модельной кривой.

14. Способ калибровки по п.13, в котором модельная кривая представляет собой квадратичную кривую, с которой сдвиг в направлении параллакса рассчитывается как корректирующее значение.

15. Способ калибровки по п.13, дополнительно содержащий этап оценки наличия или отсутствия достоверности корректирующего значения на основании распределения параллаксов и дисперсии величин изменения параллакса относительно модельной кривой.

16. Способ калибровки по п.15, в котором этап оценки включает в себя извлечение только данных величин изменения параллакса, которые находятся в заданных пределах, из величин изменения параллакса на модельной кривой; вычисление среднеквадратичного значения разностей между величинами изменения параллакса извлеченных данных и величинами изменения параллакса для соответствующих параллаксов на модельной кривой; и определение того, меньше или равно пороговому значению расчетное среднеквадратичное значение.

17. Способ калибровки по п.15, в котором оценка достоверности включает в себя вычисление пропорции числа параллаксов, включенных в указанный диапазон параллакса, и определение того, больше или равна заданной пропорции расчетная пропорция.

18. Способ калибровки по п.12, дополнительно содержащий этап нормировки величин изменения параллакса и этап сохранения нормированных величин изменения параллакса так, что они оказываются связанными с соответствующими параллаксами, причем

этап вычисления корректирующего значения включает в себя вычисление корректирующего значения для параметра, относящегося к положениям устройств формирования изображения на основании хранимых параллаксов и нормированных величин изменения параллакса.

19. Способ калибровки по п.18, в котором этап нормировки включает в себя вычисление нормированной величины изменения параллакса посредством деления величины изменения параллакса на коэффициент пропорциональности квадратичной функции, представляющей модельную кривую.

20. Способ калибровки по п.15, в котором этап оценки включает в себя оценку достоверности корректирующего значения на основании числа элементов данных, хранимых в узле хранения данных, причем узел хранения данных сконфигурирован для хранения величин изменения параллакса так, что они оказываются связанными с соответствующими параллаксами.

21. Способ калибровки по п.12, дополнительно содержащий этап получения корректирующего значения для коррекции элементов данных параллакса с использованием полученного корректирующего значения.

22. Считываемый компьютером носитель, имеющий сохраненные на нем считываемые компьютером команды, которые вынуждают компьютер выполнять способ калибровки по любому из пп.12-21.

Описание изобретения к патенту

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству калибровки для калибровки параметра, относящегося к положениям устройств формирования изображения, причем параметр устанавливается в системе измерения расстояния со стереокамерой, устанавливаемой в мобильном объекте, например автомобиле и т.д., причем система измерения расстояния включает в себя устройство калибровки, способ калибровки и программу калибровки для выполнения способа калибровки.

УРОВЕНЬ ТЕХНИКИ

В последнее время вследствие возрастающего понимания о безопасности автомобиля и вместе с тем благодаря увеличивающейся эффективности компьютеров, в автомобили устанавливаются устройства предотвращения столкновения, устройства слежения за дистанцией следования и т.д. Эти устройства выводят сигнал предупреждения для водителя, если дистанция следования находится в определенных пределах, и если дистанция становится слишком малой, то выполняют управление тормозным устройством, рулевым устройством и т.д., чтобы выполнить операции для автоматического предотвращения столкновения.

Для выполнения такого управления необходимо измерять дистанцию следования, и в качестве системы измерения расстояния оказывается эффективной стереокамера. Стереокамера может создать изображение расстояния перед транспортным средством, распознать препятствие по изображению расстояния и затем измерить расстояние до препятствия.

Измерение расстояния с использованием стереокамеры рассматривается подробно ниже. На Фиг. 1 показана схема для пояснения принципа измерения расстояния стереокамерой, в которой две камеры расположены параллельно. Камера C₀ с фокусным расстоянием f, оптическим центром О₀ и плоскостью s₀ изображения расположены так, что оптическая ось ориентирована в верхнем направлении на Фиг. 1, и камера C ₁ с тем же самым фокусным расстоянием f расположена параллельно и сдвинута на расстояние B относительно камеры C₀ на правой стороне.

Изображение предмета А, который расположен на расстоянии d от оптического центра O₀ камеры C₀ в направлении оптической оси, формирует изображение в точке P₀, которая является пересечением прямой линии AO₀ и плоскости s₀ изображения. Что касается камеры C₁, то изображение предмета А формируется в точке P₁ на плоскости s₁ изображения. Здесь пересечение линии, которая проходит через оптический центр O₁ камеры C₁ и параллельна линии AO₀, с плоскостью s₁ изображения, обозначено как P'₀, и расстояние между точкой P'₀ и точкой P₁ обозначено как p. Точка P'₀ аналогична точке P₀ для камеры C₀. Расстояние p указывает величину отклонения точек на изображениях, зафиксированных этими двумя камерами, и называется параллаксом. Тогда треугольник AO₀O₁ и треугольник O₁P'₀P₁ оказываются геометрически подобными и, таким образом, справедлива следующая формула 1.

d=Bf/p (Формула 1),

где B обозначает длину основания треугольника. Если длина основания и фокусное расстояние f известны, расстояние d может быть определено на основании параллакса p.

В этом заключается принцип измерения расстояния стереокамерой, в которой две камеры расположены параллельно; однако для поддержания этого две камеры C₀ и C₁ должны быть расположены точно, как показано на Фиг. 1. В частности, если возникает поворот камеры вокруг оси Y, которая показана на Фиг. 1, или неправильная регистрация датчика изображения в боковом направлении относительно оптического центра, положение изображения в направлении оси X, которое является поперечным направлением, перпендикулярным к оси Y на Фиг. 1, изменяется. В этом случае неправильная регистрация непосредственно добавляется к параллаксу, что снижает точность измерения расстояния.

Для поддержания необходимой точности измерения расстояния само собой разумеется, необходима точная настройка при изготовлении системы; однако также необходимо выполнить калибровку, поскольку конфигурация системы может несколько изменяться вследствие изменения температуры, вследствие вибрации и т.д., если она используется в течение длительного времени. Однако, если необходимо выполнить калибровку с использованием тестовой карты или подобного, которая располагается на известном расстоянии после приобретения системы, удобство для пользователя значительно снижается. В связи с этим предложено несколько способов выполнения калибровки, без необходимости в использования тестовой карты или подобного, которые используют изображение, полученное посредством захвата видом естественной окружающей среды (см. JP3436074 B2, JP2001-169310 A и JP2009-182879 A).

В JP3436074 В2 раскрывается методика, в которой отклонение направления формирования изображения камерой обнаруживается как произвольное местоположение, например дорога, и калибровка выполняется на основании результатов регистрации. Конкретно, один и тот же стационарный характерный объект распознается по захваченным изображениям в нескольких местоположениях для калибровки на дороге, отклонение направления съемки камерой между множественными средствами формирования изображения определяется на основании местоположений стационарного характерного объекта в захваченных изображениях в нескольких местоположениях для калибровки и расстояний между этими несколькими местоположениями для калибровки, и калибровка выполняется посредством выполнения коррекции на основании определенного отклонения направления формирования изображения камерой.

В соответствии с JP2001-169310 A обнаружение параллакса стационарного объекта выполняется два раза; рассчитывается расстояние перемещения транспортного средства между этими двумя моментами; ошибка вследствие отклонения параллелизма оптических осей между двумя камерами определяется как величина смещения параллакса; и затем обнаруженный параллакс корректируется с величиной смещения параллакса.

В соответствии с JP2009-182879 A для получения возможности вычисления калибровочного значения параметра камеры без выполнения процесса распознавания объекта, представляющие интерес множественные точки устанавливаются во входных изображениях, захваченных средством формирования изображения при заданной скорости передачи кадров; рассчитываются параллаксы соответствующих представляющих интерес точек и двумерный оптический поток; рассчитывается параметр поверхности дороги, который указывает соотношение между дорожной поверхностью, включенной во входное изображение и средство формирования изображения на основании параллаксов и вертикальных компонент представляющих интерес точек; и затем рассчитывается калибровочное значение параметра камеры на основании оптического потока, параллаксов и параметра поверхности дороги.

Однако в соответствии со способом, раскрытым в JP3436074 B2, необходимо хранить форму стационарного предмета. Таким образом, если стационарный предмет не сохранен, то нет возможности выполнить калибровку. Зеленый сигнал регулировки движения или дорожный знак используются как стационарный предмет; однако форма или размер сигнала регулировки движения или дорожного знака различаются в зависимости от региона или страны и могут быть изменены со временем. Поэтому в соответствии с этим вариантом идентификации стационарного предмета с регистрируемой формой имеется вероятность того, что калибровка не будет выполнена успешно.

Кроме того, аналогично, в соответствии со способом, раскрытым в JP2001-169310 A, регистрируются формы стационарных предметов, и калибровка выполняется идентификацией стационарного предмета на основании регистрируемых форм. Таким образом, относительно стационарного предмета с отличающейся формой, вследствие различия региона или страны или изменения его со временем он может быть определен как отличающийся от зарегистрированных стационарных предметов, и, таким образом, калибровка не может быть выполнена.

Кроме того, в соответствии со способом, раскрытым в JP2009-182879 A, характерные точки извлекаются из шаблона света и тени дорожной поверхности; измерение расстояния выполняется с использованием характерных точек; рассчитываются параметры дороги, указывающие положение и направление дорожной поверхности; и смещение параллакса рассчитывается на основании изменения дорожных параметров. Таким образом, пока автомобиль перемещается, имеется высокая вероятность того, что плоская дорожная поверхность появится моментально перед автомобилем и, таким образом, проблема не обнаружения предмета вряд ли возникнет. Кроме того, поскольку нет необходимости распознавать предмет со специфической формой, не возникает проблемы с выполнением калибровки.

Однако, поскольку источник информации для вычисления смещения параллакса ограничен дорожной поверхностью, нет возможности успешно использовать стационарные предметы, кроме плоского предмета, например стены, здания, столба и т.д. Таким образом, это не может использоваться в случае, отличающемся от применения на транспортном средстве, например в случае применения системы внутри помещения.

Кроме того, поскольку свет и тень на дорожной поверхности отчетливо различимы и число характерных точек уменьшается на большом расстоянии, то измерение расстояния может быть сделано только на коротком расстоянии и оно не может быть использовано для калибровки. В зависимости от цели, например при авторегулировке дистанции следования и т.д., может быть случай, когда желательно измерить большее расстояние до впереди идущего транспортного средства. Таким образом, это может влиять на точность калибровки.

Поэтому желательны устройство калибровки и способ, которые смогут скорректировать изменяющееся во времени отклонение (неправильную регистрацию) стереокамеры. В частности, желательны такие устройство калибровки и способ, которые смогут выполнить калибровку посредством использования различных изображений, захватываемых в течение перемещения для надежного обнаружения смещения параллакса, вне зависимости от датчиков, отличных от камеры, для измерения информации о собственном положении, например датчика скорости транспортного средства и т.д., и не полагаясь на существование предмета с определенной формой, например на дорожный знак или плоскую дорожную поверхность.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Для достижения вышеупомянутых целей предоставляется устройство калибровки для калибровки параметра, относящегося к положениям двух устройств формирования изображения, причем параметр устанавливают в системе измерения расстояния, которая устанавливается в мобильном объекте и выполняет измерение расстояния посредством устройств формирования изображения, причем устройство калибровки содержит:

узел получения изображения, сконфигурированный для приема входных данных двух опорных изображений и множественных элементов данных параллакса, причем эти два опорных изображения захватываются одним из устройств формирования изображения в двух местоположениях, причем данные параллакса вычисляются с использованием этих двух опорных изображений и двух соответственных изображений на основании положений множества характерных точек, общих для опорного изображения и соответственного изображения для каждой их пары на основании местоположения, причем эти два соответственных изображения захватываются другим устройством формирования изображения в этих двух местоположениях;

узел поиска характерной точки, сконфигурированный для поиска множества характерных точек, общих для двух опорных изображений;

узел вычисления параллакса, сконфигурированный для вычисления параллаксов и величин изменения этих параллаксов на основании данных параллакса, относящихся к соответствующим характерным точкам в этих двух опорных изображениях для каждой из отыскиваемых характерных точек: и

узел вычисления корректирующего значения, сконфигурированный для вычисления корректирующего значения для параметра, относящегося к положениям устройств формирования изображения на основании вычисленных параллаксов и величин изменения этих параллаксов.

С этой конфигурацией, поскольку вычисляются параллаксы и величины изменения параллакса и корректирующее значение может быть рассчитано независимо от расстояния между местоположениями во время формирования изображения, нет необходимости в датчике для измерения собственного положения, например в датчике скорости транспортного средства или подобном, и оказывается возможным надежно вычислить корректирующее значение, даже если отсутствует предмет со специфической формой. Таким образом, это может быть выполнено неоднократно на регулярной основе, и точность измерения расстояния может поддерживаться постоянной посредством выполнения коррекции по мере необходимости.

Узел вычисления корректирующего значения сконфигурирован для создания модельной кривой с использованием вычисленных параллаксов и величин изменения этих параллаксов и для вычисления корректирующего значения на основании модельной кривой. Модельная кривая может быть квадратичной кривой и выражаться квадратичной функцией, сдвиг которой в направлении параллакса рассчитывается как корректирующее значение. Это так потому, что этот сдвиг указывает величину сдвига устройств формирования изображения.

Кроме того, устройство калибровки дополнительно включает в себя узел оценки достоверности, сконфигурированный для оценки наличия или отсутствия достоверности корректирующего значения на основании распределения параллаксов и дисперсии величин изменения параллакса относительно модельной кривой. Оценивая достоверность таким образом, оказывается возможным обнаружить условие, которое приводит к отрицательному эффекту при вычислении корректирующего значения из самого изображения, не полагаясь на внешние датчики, или подобное им, отличное от устройств формирования изображения. Таким образом, применимость оказывается высокой, и калибровка может быть осуществлена с высокой точностью.

Узел оценки достоверности выделяет только данные величин изменения параллакса, которые находятся в заданных пределах, из величин изменения параллакса на модельной кривой, вычисляет среднеквадратичное значение разностей между величинами изменения параллакса выделенных данных и величинами изменения параллакса для соответствующих параллаксов на модельной кривой и определяет, меньше или равно пороговому значению расчетное среднеквадратичное значение. Если оно меньше или равно пороговому значению, то определяется, что имеется достоверность.

Кроме того, узел оценки достоверности вычисляет пропорцию (долю) параллаксов, включенных в указанный диапазон параллаксов, и определяет, больше или равна расчетная пропорция заданной пропорции. Если она больше или равна заданной пропорции, то определяется, что имеется достоверность. Эти два критерия оценки могут быть применены, и оказывается возможным определить, что имеется достоверность, если эти два критерия оценки выполняются. Выполняя определение с этими двумя критериями оценки, оказывается возможным осуществить калибровку с более высокой точностью.

Устройство калибровки может включать в себя узел выполнения нормировки, сконфигурированный, чтобы нормировать величины изменения параллакса; и узел хранения данных, сконфигурированный для хранения нормированных величин изменения параллакса так, что они оказываются связанными с соответствующими параллаксами. Узел вычисления корректирующего значения может вычислить корректирующее значение для параметра, относящегося к положениям устройств формирования изображения на основании хранимых параллаксов и нормированных величин изменения параллакса.

Узел выполнения нормировки вычисляет нормированную величину изменения параллакса посредством деления величины изменения параллакса на коэффициент пропорциональности квадратичной функции, представляющей модельную кривую. При такой нормировке оказывается возможным упростить вычисление и выполнить калибровку с более высокой точностью, поскольку может быть использовано множество элементов хранимых данных.

Узел оценки достоверности может оценить наличие или отсутствие достоверности корректирующего значения на основании числа элементов данных, хранимых в узле хранения данных. Это имеет место потому, что чем больше число используемых элементов данных, тем выше оказывается достоверность.

В соответствии с настоящим изобретением в дополнение к устройству калибровки, может быть предоставлено устройство измерения расстояния, включающее в себя устройство калибровки. Система измерения расстояния включает в себя два устройства формирования изображения с одним и тем же фокусным расстоянием, причем устройства формирования изображения разнесены между собой и располагаются так, что соответствующие плоскости изображения находятся на одной и той же прямой линии; устройство создания данных параллакса сконфигурировано с возможностью вычисления и вывода множественных элементов данных параллакса, причем данные параллакса вычисляются с использованием этих двух опорных изображений и двух соответственных изображений на основании положений множества характерных точек, общих для опорного изображения и соответствующего изображения для каждой их пары на основании местоположения, причем эти два соответственных изображения захватываются другим из устройств формирования изображения в этих двух местоположениях; и устройство калибровки.

Устройство создания данных параллакса получает корректирующее значение от устройства калибровки, выполняет коррекцию для множественных элементов данных параллакса с использованием корректирующего значения и выводит скорректированные данные параллакса на устройство калибровки. Посредством повторения этих процессов, оказывается возможным постоянно выполнять калибровку, и измерение расстояния может постоянно быть осуществлено с высокой точностью.

В соответствии с настоящим изобретением может быть предоставлен способ калибровки, причем способ включает в себя этапы обработки данных, которые выполняются соответствующими узлами устройства калибровки, и соответствующие узлы и устройства в устройстве калибровки включаются в систему измерения расстояния. Кроме того, также оказывается возможным осуществить программу, которая заставляет компьютер выполнять этапы обработки данных. Эта программа может быть предоставлена как хранимая в считываемом компьютером носителе информации. Таким образом, в соответствии с настоящим изобретением также оказывается возможным предоставить носитель информации, на котором записана программа.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 изображает схему, показывающую связь между системой измерения расстояния и предметом;

Фиг. 2 - схема, показывающая пример конфигурации аппаратных средств системы измерения расстояния;

Фиг. 3 - функциональная блок-схема системы измерения расстояния, включающая в себя устройство калибровки в соответствии с настоящим изобретением;

Фиг. 4 - схема, показывающая пример изображения, захваченного системой измерения расстояния;

Фиг. 5 - диаграмма, показывающая соотношение между расстоянием до предмета и параллаксом;

Фиг. 6 - диаграмма, показывающая соотношение между параллаксом и величиной изменения параллакса;

Фиг. 7 - функциональная блок-схема узла обработки обнаружения смещения параллакса как устройства калибровки;

Фиг. 8 - диаграмма, показывающая распределение параллакса для оценки достоверности корректирующего значения;

Фиг. 9 - диаграмма, показывающая вариацию величины изменения параллакса для оценки достоверности корректирующего значения;

Фиг. 10 - блок-схема последовательности операций, показывающая выполнение процесса создания данных параллакса; и

Фиг. 11 - блок-схема последовательности операций, показывающая выполнение процесса вычисления корректирующего значения.

ОБЪЯСНЕНИЕ ЦИФРОВЫХ ОБОЗНАЧЕНИЙ

10 система измерения расстояния

20, 21 устройства формирования изображения

30 устройство вычисления расстояния

31 флэш-память

32 динамическая оперативная память (DRAM)

33 центральный процессор (CPU)

34 интерфейс связи

35 шина

100 узел управления формированием изображения

110 узел создания данных параллакса

120 узел обнаружения смещения параллакса

200 впереди идущий автомобиль

210 приближающийся автомобиль

220 поверхность земли

230 картины света и тени

240 здание

250 дорожный знак

260 гора

300 узел получения изображения

310 узел поиска характерной точки

320 узел вычисления параллакса

330 узел вычисления корректирующего значения

НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Ниже в связи с сопровождающими чертежами подробно описывается наилучший вариант исполнения настоящего изобретения.

На Фиг. 2 показана схема конфигурации аппаратных средств системы измерения расстояния в соответствии с настоящим изобретением. Эта система 10 измерения расстояния представляет собой стереокамеру, например, и включает в себя два устройства 20, 21 формирования изображения для формирования изображения предмета; и устройство 30 вычисления расстояния, которое принимает входные данные изображения для изображений, захваченных устройствами 20, 21 формирования изображения и вычисляет расстояние от системы до предмета на основании изображений.

Устройства 20, 21 формирования изображения представляют собой камеры с одним и тем же фокусным расстоянием. Устройства 20, 21 формирования изображения разнесены между собой на определенное расстояние и расположены так, что соответствующие плоскости изображения располагаются на одной и той же прямой линии. Таким образом, оптические оси, которые перпендикулярны плоскостям изображения с одним и тем же фокусным расстоянием, оказываются параллельными друг другу. Камера, которая может быть использована как устройства 20, 21 формирования изображения включает в себя корпус; линзу для того, чтобы собирать свет; ирисовую диафрагму для регулировки количества света; видоискатель для отыскания предмета; датчик изображения (оптический датчик) для преобразования принятого света в электрический сигнал; и схему обработки данных изображений.

Электрический сигнал, выводимый от датчика изображения, представляет собой сигнал аналоговых данных, которые преобразуются в цифровые данные A/D преобразователем и затем вводятся в схему обработки изображения. Схема обработки изображения, которую также называют процессором обработки изображений, выполняет обработку изображения, например интерполяционное вычисление, преобразование цветового пространства, гамма-коррекцию, коррекцию астигматизма, снижение шума, сжатие изображения и т.д., для вывода его на устройство 30 вычисления расстояния.

Устройство 30 вычисления расстояния управляет устройствами 20, 21 формирования изображения. Устройство 30 вычисления расстояния принимает обработанные выходные данные изображения от устройств 20, 21 формирования изображения, вычисляет расстояние до предмета на основании этих двух элементов данных изображения и отображает результат на дисплейном устройстве и т.д. Устройство 30 вычисления расстояния включает в себя программный ресурс для того, чтобы осуществить эти процессы. Устройство 30 вычисления расстояния выполняет эту программу для вычисления расстояния на основании этих двух элементов данных изображения. С этой целью устройство 30 вычисления расстояния включает в себя энергонезависимую флэш-память 31 для хранения программного обеспечения; центральный процессор 33 для считывания программного обеспечения из флэш-памяти 31 с помощью динамической оперативной памяти 32 для его выполнения; и интерфейс 34 связи, например, USB, IEEE 1394 и т.д. Флэш-память 31, динамическая оперативная память 32, центральный процессор 33 и интерфейс 34 связи связаны между собой посредством шины 35. Программное обеспечение считывается через шину 35, и сигналы управления передаются на устройства 20, 21 формирования изображения. Данные изображения могут быть получены от устройств 20, 21 формирования изображения через интерфейс 34 связи и шину 35.

Когда центральный процессор 33 выполняет команды программы, устройство 30 вычисления расстояния функционирует как узел 100 управления изображением, чтобы управлять устройствами 20, 21 формирования изображения; узел 110 создания данных параллакса для создания данных параллакса из изображений вводимых данных изображений от узла 100 управления изображением; и узел 120 регистрации смещения параллакса для вычисления смещения параллакса как корректирующего значения с использованием опорных изображений, вводимых от узла 100 управления изображением, и данных параллакса, вводимых от узла 110 создания данных параллакса, как показано на Фиг. 3.

Узел 100 управления изображением выполняет синхронизацию, инициализацию, управление экспозицией и т.д. устройств 20, 21 формирования изображения и вводит данные изображения, захваченные устройствами 20, 21 формирования изображения, на узел 110 создания данных параллакса и узел 120 обнаружения смещения параллакса. Следует отметить, что при необходимости может быть выполнен процесс коррекции изображения, отличный от смещения параллакса, например искажения оптической системой, вращение изображения и т.д., который может быть эффективным для стереоизмерений расстояния в общем случае. Таким образом, обработки устройств 20, 21 формирования изображения, которые выполняет процессор обработки изображений, могут быть выполнены в узле 100 управления формированием изображения. В этом случае устройства 20, 21 формирования изображения могут не включать в себя процессор обработки изображений.

Узел 110 создания данных параллакса выполняет обработку данных, подобную обработке данных при измерении расстояния обычной стереокамерой. Однако при использовании смещения параллакса, созданного узлом 120 обнаружения смещения параллакса как корректирующего значения для калибровки параметра, относящегося к положениям устройств 20, 21 формирования изображения, оказывается возможным уменьшить ухудшение точности измерения вследствие старения аппаратных средств. Этот процесс описывается ниже.

Узел 120 регистрации смещения параллакса функционирует как устройство калибровки, которое вычисляет смещение параллакса как корректирующее значение, используя опорные изображения и данные параллакса, и посылает вычисленное смещение параллакса на узел 110 создания данных параллакса, который функционирует как устройство создания данных параллакса, в котором вычисленное смещение параллакса подвергается последующей обработке для формирования данных параллакса.

В данном случае смещение параллакса представляет собой ошибку, которая указывает параллельный сдвиг захватываемого изображения устройства 20 формирования изображения в целом в направлении стереоскопической базовой линии. Смещение параллакса возникает от сдвига датчика изображения относительно оптического центра. Кроме того, деформация изображения вследствие вращения устройства 20 формирования изображения в целом вокруг оптической оси, перпендикулярной направлению стереоскопической базовой линии, что является трапецеидальным искажением вследствие перспективного преобразования в строгом смысле, может быть приблизительно рассмотрено как параллельный сдвиг в случае очень малого угла вращения, и, таким образом, оно может быть учтено как смещение параллакса. Следует отметить, что коррекция смещения параллакса важна потому, что смещение параллакса непосредственно добавляется к параллаксу стереокамеры и, таким образом, существенно влияет на точность измерения расстояния на длинных расстояниях, в частности.

В настоящем изобретении предполагается, что нет никакой другой неправильной регистрации, например сдвига в направлении вверх-вниз, поворота в плоскости и т.д. На практике предпочтительно, чтобы такая другая неправильная регистрация корректировалась бы с использованием другой калибровочной методики. Далее подробно описывается процесс обнаружения смещения параллакса.

Как описано выше, формула 1 справедлива, если предполагается, что длина базовой линии составляет B, фокусное расстояние - f, расстояние - d, и параллакс - p. Следующую формулу 2 можно получить дифференцированием формулы 1 с использованием расстояния d, длины B базовой линии, фокусного расстояния f и параллакса p.

p'=-Bf/d²=-p²/Bf (Формула 2)

В формуле 2 p' является производной параллакса p относительно расстояния d и, таким образом, указывает величину изменения параллакса, когда расстояние изменяется на определенную величину, например на 1 м. Изменяющаяся величина относительно изменения расстояния изменяется с расстоянием; однако формула 2 указывает, что величина изменения параллакса всегда пропорциональна квадрату параллакса.

Если устройства 20, 21 формирования изображения, установленные на автомобиле, захватывают изображения, когда автомобиль перемещается по прямой линии, все стационарные объекты в пределах поля зрения приближаются к устройствам 20, 21 формирования изображения с постоянной скоростью. Например, рассмотрим случай формирования изображения вида, показанного на Фиг. 4. Впереди идущий автомобиль 200 и приближающийся автомобиль 210, захватываемые в пределах поля зрения, двигаются относительно стационарной земной поверхности 220, и, таким образом, они представляют собой мобильные объекты. Много объектов в пределах поля зрения, например других картин 230 света и тени на земной поверхности, здание 240 вдоль дороги, дорожный знак 250 регулировки движения и фоновая сцена, например гора 260, являются стационарными. Стационарный объект может рассматриваться в автомобиле как приближающийся к автомобилю с постоянной скоростью. Таким образом, формула 2 должна быть справедлива независимо от положения стационарного объекта. Таким образом, если параллакс и величина изменения параллакса определяются относительно соответствующих характерных точек в захваченном изображении, например характерных точек здания 240 вдоль дороги, и наносятся на график, то можно ожидать, что они будут находиться на кривой, представленной формулой 2. И напротив, величина изменения параллакса, относящаяся к мобильному объекту, например впереди едущему автомобилю 200 и т.д., больше или меньше, чем таковая для стационарного объекта, существующего при том же самом параллаксе (расстоянии), и, таким образом, она оказывается вне кривой. Поэтому оказывается возможным определить, является ли объект мобильным объектом или стационарным объектом на основании того, находится ли величина изменения параллакса на или вне кривой.

Ниже описывается способ вычисления параллакса и величины изменения параллакса. На Фиг. 5 показана диаграмма, иллюстрирующая соотношение между расстоянием d от оптического центра до предмета и параллаксом p. Для упрощения объяснения предполагается, что коэффициент пропорциональности составляет 1. Как показано на Фиг. 5, когда p₀, p₁ указывают параллаксы, измеренные в этих двух местоположениях на расстояниях d₀ , d₁ соответственно, отношение разности между параллаксами к разности между расстояниями может быть задано следующей формулой 3 с использованием соотношения p_i=l/d_i.

(p₁-p₀)/(d₁-d ₀)=(1/d₁-1/d₀)/(d₁-d ₀)=-1/d₁d₀ (Формула 3)

В соответствии с формулой 3 точка на кривой p=l/d, которая имеет этот градиент, имеет расстояние, задаваемое формулой 4, и параллакс p, задаваемый формулой 5 с использованием соотношения p'=-1/d².

D= d₁d₀ (Формула 4)

P= p₁p₀ (Формула 5)

Таким образом, если параллаксы, измеренные в двух местоположениях, представляют собой p₀ , p₁, соответственно, характерный параллакс между точками задается формулой 5, и величины изменения параллакса может быть вычислены с помощью формулы 6.

p'=p ₁-p₀ (Формула 6)

В отличие от формулы 3 эта формула 6 не разделена на изменение расстояния (d₁-d₀ ). Это так потому, что расстояние перемещения автомобиля несущего устройство не известно только из изображения. Таким образом, эта величина p' содержит неопределенный коэффициент в виде постоянного кратного числа в соответствии с расстоянием между этими двумя местоположениями. Однако эта формула может работать, поскольку формула 2 остается справедливой относительно пары соответственных изображений на одном и том же расстоянии перемещения, и сравнение с данными измерения в двух других точках может быть выполнено посредством нормирования высот после выделения квадратичной кривой, описанной ниже. Кроме того, формула 5 остается справедливой, если смещение параллакса не включено; однако поскольку параллаксы p₀, p₁, измеренные на практике, включают в себя смещение параллакса, справедливость формулы 5 не сохраняется в строгом смысле. Таким образом, чтобы упростить вычисление, формула 5 может быть заменена следующей формулой 7.

p=(p₀-p₁)/2 (Формула 7)

Далее описывается вариант вычисления смещения параллакса. Поскольку параллакс, измеренный на практике, включает в себя смещение параллакса, параллакс p отклоняется от истинного параллакса p_t на p_off.

p=p_t+p_off (Формула 8)

С другой стороны, величина p' изменения параллакса является разностью между параллаксами, которые включают в себя смещения параллакса, как показано на Фиг. 6, которые исчезают при вычитании, и, таким образом, можно считать, что величина p' изменения параллакса является той же, что и истинная величина изменения параллакса. Поэтому соотношение между параллаксом, включающим в себя смещение параллакса, и величиной изменения параллакса соответствует кривой, которая смещена в направлении p оси на p_off относительно идеального соотношения формулы 2. Формула этой кривой может быть задана следующим образом.

p'=a(p_t-p _off)² (Формула 9)

Кривая формулы 9 выделяется из соотношения между измеренными параллаксами и величиной изменения параллакса посредством выражения обнаруживаемой линии уравнением, например преобразованием Хафа или подобным. Затем смещение параллакса может быть рассчитано как сдвиг в направлении p оси, то есть x-пересечение кривой. Альтернативно, также оказывается возможным взять квадратный корень из обеих частей формулы 9 и выделить прямую линию преобразованием Хафа, чтобы выразить соотношение между параллаксами p и p'.

Далее описываются нормировка и накопление. Коэффициент а является коэффициентом пропорциональности в соответствии с BF формулы 2 и расстоянием между двумя местоположениями формирования изображения, то есть расстоянием p', полученным из формулы 6. Величина p' изменения параллакса умножается на константу, когда расстояние между двумя местоположениями увеличивается или уменьшается. Поэтому нормировка значения p', то есть величина p', разделенная на а, сохраняется и накапливается. Величина p'_nor может быть задана следующим образом.

p' _nor=p'/a=(p_t-p_off)² (Формула 10)

Величина изменения параллакса p'_nor, таким образом нормированная, не зависит от расстояния между двумя местоположениями. Таким образом, если множество нормированных величин изменения параллакса хранится как данные, в которых они оказываются связанными с параллаксами, оказывается возможным точно вычислить смещение параллакса на основании хранимых данных.

Как описано выше, узел 120 обнаружения смещения параллакса, который может быть использован как устройство калибровки в соответствии с настоящим изобретением, может включать в себя следующие узлы. На Фиг. 7 приведена схема, показывающая конфигурацию узла 120 обнаружения смещения параллакса. Узел 120 обнаружения смещения параллакса включает в себя узел 300 получения изображения, сконфигурированный для получения основных изображений от узла 100 управления формированием изображения и параллакса от узла 110 создания данных параллакса соответственно; узел 310 поиска характерной точки; узел 320 вычисления параллакса; и узел 330 вычисления корректирующего значения.

Узел 300 получения изображения получает два изображения как опорные изображения, которые захватываются одним устройством 20 формирования изображения из устройств 20, 21 формирования изображения в любых двух местоположениях. Кроме того, узел 300 получения изображения получает множественные элементы данных параллакса. Узел 110 создания данных параллакса получает два изображения как соответственные изображения, которые захватываются другим устройством 21 формирования изображения из устройств формирования изображения 20, 21 в тех же самых двух местоположениях. Данные параллакса вычисляются узлом 110 создания данных параллакса из множества характерных точек, общих для опорного изображения и соответственного изображения для каждого из местоположений с использованием этих двух соответственных изображений и этих двух опорных изображений, полученных из узла 100 управления формированием изображения.

Узел 310 поиска характерной точки ищет множественные характерные точки, которые являются общими для этих двух опорных изображений, полученных узлом 300 получения изображения. Характерные точки представляют собой здание, дорожный знак регулировки движения, вид, например гора, картина света и тени на дорожной поверхности, впереди идущий автомобиль, приближающийся автомобиль и т.д. Узел 320 вычисления параллакса вычисляет параллакс и величину изменения параллакса, связанную с параллаксом, соответственно, на основании данных параллакса, относящихся к соответствующим характерным точкам в этих двух опорных изображениях для каждой из отыскиваемых характерных точек. Конкретно, узел 320 вычисления параллакса вычисляет характерный параллакс из параллаксов в соответствующих местоположениях с использованием формулы 5 и величину изменения параллакса, связанную с характерным параллаксом с использованием формулы 6 или 7. Узел 330 вычисления корректирующего значения вычисляет корректирующее значение для параметра, относящегося к положениям устройств 20, 21 формирования изображения на основании параллаксов и величин изменения параллакса, вычисленных узлом 320 вычисления параллакса.

С этой конфигурацией, поскольку вычисляются параллаксы и величины изменения параллакса и корректирующее значение может быть вычислено независимо от расстояния между местоположениями во время формирования изображения, датчик для измерения собственного положения, например датчик скорости транспортного средства или подобное, не нужен, и оказывается возможным надежно вычислить корректирующее значение, даже если отсутствует предмет со специфической формой. Таким образом, это может быть выполнено неоднократно на регулярной основе, и точность измерения расстояния может поддерживаться постоянной, выполняя коррекцию по мере необходимости.

Конкретно, узел 330 вычисления корректирующего значения создает модельную кривую, используя вычисленные параллаксы и величины изменения параллакса, и вычисляет корректирующее значение, то есть смещение параллакса из модельной кривой. Эта модельная кривая может быть квадратичной кривой и может быть выражена как квадратичная функция. Таким образом, оказывается возможным вычислить сдвиг в направлении параллакса как корректирующее значение.

Хотя принцип обнаружения смещения параллакса и конфигурация устройства калибровки, использующего этот принцип, описаны выше, желательно оценить достоверность вычисленного корректирующего значения при использовании этого принципа. Конкретно, как показано на Фиг. 4, захватываемое изображение включает в себя стационарные предметы, распределенные от малого расстояния до большого расстояния. Если область двигающегося предмета относительно мала, соотношения между параллаксами и величинами изменения параллакса распределены так, как показано на Фиг. 6, и может быть выведена модельная кривая, выражаемая формулой 9.

Например, если только данные вокруг конкретного параллакса измерены, когда впереди идущий автомобиль 200 существует на коротком расстоянии перед устройствами 20, 21 формирования изображения и он занимает большую часть поля зрения, имеется возможность того, что выведенная кривая включает в себя значительную ошибку, как показано в верхнем участке или нижнем участке кривой на Фиг. 6. Желательно обнаружить такое плохое состояние и исключить его.

Таким образом, данные вблизи модели, выведенной при оценке дисперсии, проверяются на то, широко ли распределены параллаксы p. Например, как показано на Фиг. 8, пределы изменений параллакса определены, и если больше чем 20 процентов точек данных во всех данных измерения существуют в этих двух областях параллакса, обозначенных как 0 и 1, то определяется, что имеется достоверность. В примере, показанном на Фиг. 8, поскольку данные существуют только в области параллакса, обозначенной как 1, то определяется, что достоверность отсутствует.

Рассматривался случай, когда стационарный объект отображается системой измерения расстояния, устанавливаемой на транспортное средство, перемещающееся по прямой линии. Однако даже в случае транспортного средства, перемещающегося по прямой линии, оно может несколько поворачиваться в направлении вверх-вниз или в левом и правом направлениях, и, таким образом, величины изменения параллакса для всех стационарных объектов не являются постоянными. Кроме того, характерные точки, измеренные в связи с движением человека с малой скоростью, могут оказаться вблизи идеальной модельной кривой и, таким образом, неблагоприятно влиять на приближение. Поэтому чтобы осуществлять практический процесс калибровки, необходимо уменьшить неблагоприятный эффект, обусловленный предметом, отличным от стационарного объекта, перемещающегося по прямой линии.

Таким образом, проанализировано распределение величин изменения параллакса вблизи выделенной модельной кривой. Варьирование измеренных параллаксов зависит от шумовых характеристик оптических датчиков и параметров формирования изображения оптических систем и может быть измерено. Таким образом, если дисперсия величины изменения данных параллакса относительно модельной кривой достаточно велика по сравнению с ожидаемым заранее варьированием, то предполагается, что данные закономерно не находятся на кривой и данные удаляются при вычислении смещения параллакса.

Идея оценки достоверности с варьированием показана на Фиг. 9. Чтобы удалить характерные точки, которые ясно видны как не постоянные, выделяются только данные около выделенной модельной кривой, среди характерных точек, нанесенных на график в p-p' пространстве. Как показано на Фиг. 9, выделяются только точки данных в пределах верхней и нижней границ p'_tol (т.е. в пределах между пунктирными линиями) относительно модельной кривой, а другие данные, обозначенные белыми кружками, удаляются.

Для выделенных характерных данных вычисляется среднеквадратичное значение разностей между измерениями и аппроксимационной моделью, и если среднеквадратичное значение меньше или равно заданному пороговому значению, то определяется, что имеется достоверность. Это может быть выражено следующей формулой 11.

E=ave((p'-a(p-p_off )²)²) (Формула 11)

Порог может быть установлен заранее в соответствии с варьированием обнаруженных параллаксов. Порог может варьироваться в соответствии с расстоянием или яркостью.

Как описано выше, рассматривается пространство, определяемое двумя параметрами, то есть параллаксом и величиной изменения параллакса. Используя пространство параметров, следующие преимущества могут быть получены.

(1) Величина изменения параллакса свободна от смещения параллакса.

Величина изменения параллакса представляет собой разность между измеренными параллаксами, как выражено формулой 6, и, таким образом, эффект смещения параллакса может быть устранен.

(2) Оказывается возможным непосредственно выразить смещение параллакса.

Как выражено формулой 6, оказывается возможным вычислить смещение параллакса как x пересечение модельной кривой.

(3) Оказывается возможным выполнить нормировку.

Хотя величина изменения параллакса может измениться с расстоянием перемещения автомобиля, несущего устройство, и расстоянием до предмета, пропорциональное соотношение p' относительно p ² не изменяется. Таким образом, допускается регистрация посредством нормировки коэффициента пропорциональности, даже если расстояние перемещения неизвестно.

В соответствии с настоящим изобретением, чтобы использовать такое свойство, используя максимальное число местоположений измерения и данных характерных точек, оказывается возможным точно оценить смещение параллакса.

Таким образом, узел 120 обнаружения смещения параллакса может включать в себя, в дополнение к соответствующим узлам, показанным на Фиг. 7, узел оценки достоверности, чтобы оценить наличие или отсутствие достоверности корректирующего значения на основании распределения параллаксов и дисперсии величин изменения параллакса относительно модельной кривой. Узел оценки достоверности оценивает достоверность так, как описано выше. Поскольку узел оценки достоверности оценивает достоверность, то оказывается возможным обнаружить условие, которое приводит к нежелательному эффекту при вычислении корректирующего значения из самого изображения, не полагаясь на внешние датчики или подобное, кроме устройств 20, 21 формирования изображения. Таким образом, применимость оказывается высокой, и калибровка может быть осуществлена с высокой точностью.

Конкретно, узел оценки достоверности выделяет только данные, в которых вычисленные величины изменения параллакса находятся в заданных пределах относительно величин изменения параллакса на модельной кривой; отклоняет другие данные; вычисляет среднеквадратичное значение разностей между величинами изменения данных параллакса в заданных пределах и соответствующими величинами изменения параллакса для параллаксов на модельной кривой; и определяет, меньше или равно расчетное среднеквадратичное значение пороговому значению. Если оно меньше или равно пороговому значению, то определяется, что имеется достоверность. Заданный диапазон может быть определен на основании накопленных данных или практического опыта и соответствует верхнему и нижнему пределам p'_tol в случае на Фиг. 9.

Кроме того, узел оценки достоверности вычисляет пропорцию параллаксов, включенных в определенный заранее диапазон параллакса, и определяет, больше или равна вычисленная пропорция заданной пропорции. Диапазон параллакса соответствует областям параллакса, обозначенным как 0 и 1 в случае на Фиг. 8. Если расчетная пропорция больше или равна заданной пропорции, то определяется, что имеется достоверность. Это так потому, что если данные распределены по более широкому диапазону параллакса, достоверность становится выше соответственно. Эти два критерия оценки могут быть применены, и оказывается возможным и предпочтительным, чтобы определить, что имеется достоверность, если эти два критерия оценки выполняются. Выполняя определение с этими двумя критериями оценки, оказывается возможным осуществить калибровку с более высокой точностью.

Кроме того, узел 120 обнаружения смещения параллакса может включать в себя узел выполнения нормировки, чтобы нормировать величины изменения параллакса; и узел хранения данных для хранения нормированной величины изменения параллакса так, что она связана с параллаксом. В этом случае узел 330 вычисления корректирующего значения может вычислить корректирующее значение для параметра, относящегося к положениям устройств 20, 21 формирования изображения на основании параллаксов и нормированных величин изменения параллакса, хранимых в узле хранения данных.

Узел выполнения нормировки использует формулу 10 для вычисления нормированной величины изменения параллакса посредством деления величины изменения параллакса на коэффициент пропорциональности квадратичной функции, представляющей модельную кривую. С такой нормировкой оказывается возможным упростить вычисление и выполнить калибровку с более высокой точностью, поскольку может быть использовано множество элементов хранимых данных.

Узел оценки достоверности может оценить наличие или отсутствие достоверности корректирующего значения на основании числа элементов данных, хранимых в узле хранения данных. Это так потому, что если число элементов данных увеличивается, то увеличивается число нанесенных на график точек при выделении модельной кривой, точность модельной кривой увеличивается, точность смещения параллакса, полученного преобразованием Хафа из модельной кривой, увеличивается и достоверность корректирующего значения возрастает соответственно.

Ниже подробно описывается процесс, выполняемый в устройстве 30 вычисления расстояния. На Фиг. 10 приведена блок-схема последовательности операций, показывающая протекание процесса создания данных параллакса, выполняемого узлом 110 создания данных параллакса. Подпрограмма процесса начинается на этапе 1000. На этапе 1000 принимаются изображения, захваченные одновременно этими двумя устройствами 20, 21 формирования изображения, расположенными параллельно. Затем в изображениях отыскиваются характерные точки. Сначала на этапе 1020 характерные точки, изменения яркости которых велики, выделяются из одного из изображений (то есть, из опорного изображения). Затем на этапе 1030 положения характерных точек тех же самых предметов, как области (блоки) вблизи соответствующих характерных точек в опорном изображении, отыскиваются в другом изображении (то есть соответственном изображении). Поиск соответствующих характерных точек может быть осуществлен при использовании известной методики, например SAD (Сумма Абсолютной Разности), РОС (Только Фазовая Корреляция) и т.д.

В соответствии с SAD, чтобы оценивать подобие между изображениями, из изображения вырезается область для сравнения; определяется сумма разностей яркости относительно вырезанной области; и отыскивается вырезанная область, которая дает минимальное значение, что позволяет определить изменения между изображениями на пиксельной основе. В соответствии с РОС, чтобы определить корреляцию (то есть подобие) между изображением, взятым как опорное, и сравниваемым изображением, оцифрованное изображение обрабатывается математически посредством Фурье преобразования для разделения на информацию об амплитуде (данные о тени серого) и информацию о фазе (краевые данные изображения); и корреляция мгновенно устанавливается по изображению с использованием только информации о фазе.

После того как характерные точки найдены, на этапе 1040, вычисляются параллаксы. Параллакс может быть вычислен как расстояние, полученное из разности между положениями соответствующих характерных точек в этих двух изображениях, полученных поиском характерной точки. Кроме того, выполняется коррекция смещения параллакса, посредством вычитания входного значения смещения параллакса из узла 120 обнаружения смещения параллакса. Это корректирует сдвиг смещением параллакса, вычисленным при предыдущем вычислении. Следует отметить, что, пока результат процесса обнаружения смещения параллакса не выводится, 0 используется как начальное значение, поскольку нет смещения параллакса, пригодного для корректирующего значения.

Когда параллаксы вычислены, на этапе 1050, данные параллакса выводятся. Иначе говоря, изображение параллакса, которое имеет пиксельные значения скорректированных величин параллакса, может быть выведено как данные параллакса. После вывода, на этапе 1060, эта обработка данных подпрограммы завершается. Оказывается возможным продолжить выводить данные параллакса, относящиеся к виду перед устройствами 20, 21 формирования изображения, всегда выполняя эту подпрограмму процесса неоднократно с регулярными интервалами времени.

Узел 120 обнаружения смещения параллакса использует данные параллакса, вводимые из узла 110 создания данных параллакса для вычисления смещения параллакса как корректирующего значения для коррекции параметра, относящегося к положениям устройств 20, 21 формирования изображения. Поскольку процесс обнаружения смещения параллакса зависит от изменения температуры и т.д., то он выполняется неоднократно с регулярными интервалами времени в течение работы системы измерения расстояния. На Фиг. 11 приведена блок-схема последовательности операций, показывающая течение процесса обнаружения смещения параллакса, выполняемого узлом 120 обнаружения смещения параллакса.

Эта подпрограмма процесса начинается на этапе 1100, на котором принимаются изображения. Принятые изображения включают в себя два опорных изображения от узла 100 управления формированием изображения и данные параллакса от узла 110 создания данных параллакса, то есть два изображения параллакса, соответствующие опорным изображениям.

Затем на этапе 1120 отыскиваются характерные точки, которые соответствуют друг другу между двумя опорными изображениями. Как и в случае с поиском характерных точек посредством узла 110 создания данных параллакса, SAD вычисляются на основании блока для поиска положения, которое дает минимальное значение. Однако в отличие от поиска характерной точки изображения на Фиг. 10, устанавливается радиальный диапазон поиска. Устанавливая такой диапазон поиска, оказывается возможным уменьшить объем вычисления для процесса поиска характерных точек и удалить объект, двигающийся в боковом направлении или, до некоторой степени, повороты транспортного средства несущего устройство.

На этапе 1130 для каждой из характерных точек характерный параллакс вычисляется на основании соответствующих двух параллаксов с использованием формулы 5, и величины изменения параллакса вычисляются с использованием формулы 6. Затем на этапе 1140 квадратичная кривая, например, выражаемая формулой 9, выводится посредством преобразования Хафа, применяемого к вычисленным параллаксам и величинам изменения параллакса. Конкретно, двумерная плоскость, заданная параметрами a и p_off (замененным далее на b) разделяется на множество областей с заданным интервалом в заданных пределах, и двумерный массив, соответствующий соответственным областям, формируется в памяти.

Уравнение p'=(p-b)² предполагается как кривая в a-b пространстве. Соответственные измеренные величины p и p' наносятся на график кривой b=p+ (p'/a) в двумерном массиве, представляющем a-b пространство. Когда все измеренные величины p и p' нанесены на график, пара a и b, которая соответствует области, в которой число нанесенных на график p и p' является максимальным, может быть рассмотрена для выражения кривой, проходящей через множество измеренных значений p и p'. Таким образом, пара a и b может быть выбрана как модельная кривая. Параметр b, полученный здесь, представляет собой смещение параллакса, которое может быть использовано для процесса коррекции параллакса.

Затем на этапе 1150 оценивается достоверность полученных параметров. Например, следующие два критерия оценки могут быть использованы. Один из них - это дисперсия разностей параллакса. Только точки данных в заданных пределах, которые определены в направлении вверх-вниз относительно модельной кривой, среди данных характерной точки, нанесенных на график в p-p' пространстве, выделяются. Затем для выделенных данных среднеквадратичное значение E разностей между измерениями и аппроксимационной моделью вычисляется, и определяется, находится ли E в пределах заданного порога, то есть p'_tol в случае на Фиг. 9 меньше или равно 0,3 пикселям, например. Если p' _tol меньше или равно 0,3 пикселям, то определяется, что имеется достоверность.

Другой критерий относится к распределению диапазонов расстояния. Как показано на Фиг. 8, диапазоны параллакса определены, и если больше чем 20 процентов точек данных во всех измеренных данных существуют в области параллакса, обозначенной как 0 (например, меньше или равная 5 пикселям), и области параллакса, обозначенной как 1 (например, больше или равная 10 пикселям), соответственно, то определяется, что имеется достоверность.

Таким образом, достоверность выделенных модельных параметров определяется с двух точек зрения. Только если обеими из этих двух точек зрения определяется, что имеется достоверность, подпрограмма процесса переходит на этап 1160. С другой стороны, если определяется, что достоверность отсутствует, данные измерения отбрасываются и подпрограмма процесса возвращается на этап 1110, чтобы принять входные данные следующих изображений.

На этапе 1160 накапливается множество элементов данных измерения, чтобы улучшить точность. Конкретно, элемент p' данных измерения, которые извлечены как данные вблизи модельной кривой на этапе 1150 оценки достоверности, разделяется на полученный модельный параметр, используя формулу 10, и получающаяся в результате величина p'_nor сохраняется вместе с исходной величиной p как пара величин.

На этапе 1170 просто, если число элементов накопленных данных превышает определенный порог, то определяется, что достоверность является высокой, и подпрограмма процесса переходит на следующий этап 1180. С другой стороны, если число не превышает пороговое значение, подпрограмма процесса возвращается на этап 1110, чтобы принять входные данные изображений при сохранении данных. Хотя в этом примере определяется исключительно число накопленных элементов данных, оно также может быть определено применением двух критериев оценки, как это происходит на этапе 1150.

На этапе 1180 модельная подгонка может быть выполнена с использованием аппроксимации по методу наименьших квадратов. Это так потому, что операция для удаления выбросов, например преобразованием Хафа, не необходима, поскольку характерные точки, относящиеся к мобильным объектам, были уже удалены и нет возможности получить дискретные параметры, если используется преобразование Хафа.

Аппроксимация по методу наименьших квадратов выполняется для накопленных данных с использованием формулы 9. Однако параметр а зафиксирован как 1, поскольку данные были уже нормированы. Таким образом, оптимизация выполняется только относительно параметра p_off. В результате этого смещение параллакса оценивается на основании числа захваченных изображений. Затем для последующей обработки данных в конце этого этапа накопленные элементы данных пар p и p' удаляются.

На этапе 1190 смещение параллакса p_off , полученное таким образом, выводится на узел 110 создания данных параллакса, и на этапе 1200 подпрограмма обработки данных завершается. Выходное смещение параллакса используется для коррекции смещения параллакса, выполняемой при создании данных параллакса в узле 110 создания данных параллакса.

С этой конфигурацией, поскольку смещение параллакса рассчитывается, чтобы непрерывно выводить его на узел 110 создания данных параллакса, параметр камеры может калиброваться непрерывно и, таким образом, может быть поддержана высокой точность измерения расстояния.

Как описано выше, поскольку параллаксы и величины изменения параллакса вычисляются и смещение параллакса может быть вычислено на основании этих элементов данных независимо от расстояния между местоположениями во время формирования изображения, оказывается возможным стабильно обнаруживать смещение параллакса, используя различные изображения, захваченные в течение работы, не полагаясь на датчик для измерения собственного положения, например датчик скорости транспортного средства или подобный ему, кроме камеры и не предполагая существование предмета со специфической формой.

Кроме того, условие, которое приводит к нежелательному эффекту при вычислении, обнаруживается из самого изображения, не полагаясь на внешний датчик, кроме устройств 20, 21 формирования изображения. Таким образом, применимость оказывается высокой, и калибровка может быть осуществлена с высокой точностью.

Кроме того, поскольку используется множество кадров, устройство калибровки может быть осуществлено с более высокой точностью. Кроме того, поскольку корректирующее значение рассчитывается из самого изображения камеры, применимость оказывается высокой, и может быть осуществлена система калибровки высокой точности.

Настоящее изобретение раскрыто со ссылкой на предпочтительные варианты реализации. Однако следует понимать, что настоящее изобретение не ограничивается вышеописанными вариантами реализации, и другие варианты реализации, их вариации, добавление и исключение могут быть произведены в пределах объема изобретения, рассматриваемого специалистами в данной области техники. Таким образом, настоящее изобретение может обеспечить в дополнение к описанным выше устройству калибровки и способу калибровки компьютерную считываемую программу для реализации способа и носитель записи, на котором записывается программа.

Настоящая заявка основана на Японской Приоритетной Заявке № 2010-204328, поданной 13 сентября 2010, все содержание которой тем самым включено сюда посредством ссылки.