оптико-электронное устройство предупреждения столкновений транспортного средства

Формула изобретения

Оптико-электронное устройство предупреждения столкновений транспортного средства, содержащее первое устройство ввода изображения (УВИ), и системный контроллер (СК), отличающееся тем, что дополнительно введены первый, второй, третий, четвертый и пятый оптико-электронные датчики (ОЭД), второе, третье и четвертое УВИ, первое и второе устройства компенсации размытости (УКР), жидкокристаллический индикатор и устройство звуковой индикации, причем первый и второй ОЭД установлены с возможностью получения изображений рабочей сцены спереди транспортного средства, третий и четвертый ОЭД - с возможностью получения изображений рабочей сцены сзади транспортного средства, а пятый ОЭД - с возможностью получения изображений глаз водителя, первое, второе, третье и четвертое УВИ подключены к выходам соответственно первого, второго, третьего и четвертого ОЭД и выполнены с возможностью промежуточного хранения полученных изображений, первое и второе УКР подключены к выходам соответственно первого и второго УВИ и выполнены с возможностью повышения четкости полученного изображения и обнаружения движущихся объектов, СК подключен к выходам первого и второго УКР, третьего и четвертого УВИ, пятого ОЭД и датчика скорости транспортного средства и выполнен с возможностью выделения контуров на изображениях, обнаружения неподвижных объектов на них, определения их трехмерных координат по парам стереоизображений и траекторий движения по изменению трехмерных координат объектов и обнаружения препятствий, узел звуковой индикации и жидкокристаллический индикатор подключены к соответствующим выходам СК.

Описание изобретения к патенту

Изобретение относится к вычислительной технике и может быть использовано для предотвращения дорожно-транспортных происшествий путем своевременного обнаружения препятствий на пути движения транспортного средства, других движущихся транспортных средств и предупреждения засыпания водителя.

Известна система предупреждения столкновений (см. патент США № 7436430) [1], базирующаяся на принципе бинокулярного зрения.

Недостатком системы является низкая точность обнаружения препятствий в условиях шума изображения, что вызвано значительным снижением вероятности идентификации одного и того же объекта на разных кадрах стереоизображений при повышении шума. С пользовательской точки зрения данный факт снижает точность обнаружения препятствий при дожде, снеге и других осадках.

Известна телевизионная система (см. патент США № 7400266) [2], содержащая источник инфракрасного диапазона и высокочувствительную видеокамеру. Поступающее с видеокамеры изображение отображается на бортовом дисплее и увеличивает вероятность обнаружения препятствия на дороге водителем в ночное время. Однако данная система не является автоматизированной, т.е. человек постоянно должен смотреть на монитор, что не дает возможности следить за ситуацией на дороге и не снижает вероятности возникновения дорожно-транспортного происшествия.

Известна система для обнаружения препятствий (см. патент США № 7389171) [3] с единственным оптико-электронным датчиком (ОЭД). Очевидным недостатком предложенного решения является невозможность определения трехмерных координат объектов, что существенно снижает функциональные возможности системы предупреждения столкновений, в частности не позволяет анализировать траекторию движения встречного транспортного средства и своевременно сигнализировать о возможном препятствии.

Известно устройство для оповещения об аварийной ситуации на дороге (см. патент РФ № 2157769) [4], состоящее из узла реагирования на столкновение, взаимосвязанного с механизмом срабатывания, имеющим сигнализирующий элемент. Недостатками устройства является недостаточная для практического применения проработанность технического решения, особенно в части бесконтактного обнаружения препятствия. В [4] предлагаются лишь решения, связанные с механическими узлами устройства, тогда как вопросы построения автоматического средства обнаружения препятствий практически не затрагиваются.

Наиболее близким к предлагаемому устройству является система трехмерного технического зрения для робототехнических систем (см. патент США № 7410266) [5], которая состоит из системы линз, устройства ввода изображения (УВИ) и системного контроллера. Основной выполняемой задачей системой технического зрения (СТЗ) является идентификация и распознавание объектов. СТЗ может быть применена для решения задач предупреждения столкновений. Недостатком данного устройства является его ориентация на универсальное применение, что делает данное решение неэффективным в плане обнаружения препятствий на пути движения транспортного средства и, кроме того, не обеспечивает анализ состояния водителя (спит/не спит).

Задача, на решение которой направлено заявляемое изобретение, состоит в разработке системы, обеспечивающей автоматическое оповещение водителя о возможном столкновении транспортного средства с препятствием для предотвращения дорожно-транспортного происшествия (по ходу движения или сзади), а также обеспечивающей возможность анализа состояния водителя (спит/не спит) для предупреждения засыпания за рулем.

Технический результат достигается за счет того, что в известное устройство, содержащее первое устройство ввода изображения и системный контроллер (СК), дополнительно введены первый, второй, третий, четвертый, пятый ОЭД, второе, третье, четвертое устройства ввода изображения (УВИ), первое, второе устройства компенсации размытости (УКР), ЖК-индикатор (ЖКИ), устройство звуковой индикации (УЗИ), причем выходы первого, второго, третьего и четвертого ОЭД соединены соответственно с входами первого, второго, третьего и четвертого УВИ, выходы первого и второго УВИ соединены соответственно с входами первого и второго УКР, чьи выходы подключены соответственно к первому и второму входам СК, выходы третьего и четвертого УВИ соединены соответственно с третьим и четвертым входом СК, выход пятого ОЭД соединен с пятым входом СК, сигнал с датчика текущей скорости транспортного средства поступает на шестой вход СК, первый и второй выходы которого соединены с входами УЗИ и ЖКИ, соответственно.

Изобретение может быть использовано для оповещения водителя о возможном столкновении транспортного средства с препятствием и засыпания водителя для предотвращения дорожно-транспортного происшествия.

Изобретение поясняется чертежом, где показана структурная схема оптико-электронного устройства предупреждений столкновения транспортного средства.

Устройство (чертеж) содержит первый ОЭД 1, первое УВИ 2, первое УКР 3, второй ОЭД 4, второе УВИ 5, второе УКР 6, третий ОЭД 7, третье УВИ 8, четвертый ОЭД 9, четвертое УВИ 10, пятый ОЭД 11, СК 12, УЗИ 13, ЖКИ 14, причем выходы первого ОЭД 1, второго ОЭД 4, третьего ОЭД 7 и четвертого ОЭД 9 соединены с входами первого УВИ 2, второго УВИ 5, третьего УВИ 8 и четвертого УВИ 10, соответственно, выходы первого УВИ 2 и второго УВИ 5 соединены с группами входов первого УКР 3 и второго УКР 6, соответственно, чьи выходы подключены к первому и второму входам СК 12, соответственно, выходы третьего УВИ 8 и четвертого УВИ 10 соединены с третьим и четвертым входом СК 12, соответственно, выход пятого ОЭД 11 соединены с пятым входом СК 12, информация о текущей скорости транспортного средства поступает на шестой вход СК 12, чьи первый и второй выходы соединены с группами входов УЗИ 13 и ЖКИ 14, соответственно.

Первый ОЭД 1 и второй ОЭД 4 служат для получения изображений рабочей сцены по ходу (спереди) движения транспортного средства, третий ОЭД 7 и четвертый ОЭД 9 служат для получения изображений рабочей сцены сзади транспортного средства, пятый ОЭД 11 предназначен для получения изображений глаз водителя. Первое УВИ 2, второе УВИ 5, третье УВИ 8 и четвертое УВИ 10 обеспечивают промежуточное хранение полученных изображений с первого ОЭД 1, второго ОЭД 4, третьего ОЭД 7 и четвертого ОЭД 9, соответственно и последующий ввод этих изображений в СК 12. Первое УКР 3 и второе УКР 6 используются для повышения четкости полученного изображения и обнаружения движущихся объектов. СК 12 служит для выделения контуров на изображениях, полученных с первого ОЭД 1, второго ОЭД 4, третьего ОЭД 7 и четвертого ОЭД 9, обнаружения неподвижных объектов на них, определения их трехмерных координат и траекторий движения, обнаружения препятствий и предупреждения водителя об опасности. УЗИ 13 служит для звукового оповещения водителя об опасности. ЖКИ 14 используется для визуального оповещения водителя об опасности.

Устройство работает следующим образом. Первый ОЭД 1, второй ОЭД 4, третий ОЭД 7 и четвертый ОЭД 9 преобразуют распределение оптического излучения рабочей сцены в электрический сигнал и далее в цифровой форме формируют изображение рабочей сцены на своих выходах, с которых затем изображения поступают на входы первого УВИ 2, второго УВИ 5, третьего УВИ 8 и четвертого УВИ 10, соответственно, для хранения и последующей обработки. Изображения, полученные по ходу движения транспортного средства, хранимые в первом УВИ 2 и втором УВИ 5, передаются с их выходов на входы первого УКР 3, второго УКР 6, соответственно. Первый УКР 3 и второй УКР 6 производят обнаружение движущихся объектов и повышение четкости изображений.

Первый УКР 3 и второй УКР 6 повышают четкость изображения адаптивно посредством изменения выходных значений яркости изображения текущего кадра в зависимости от входных значений яркости пикселей текущего и предыдущего кадров. Первый УКР 3 и второй УКР 6 также обнаруживают на изображении движущиеся объекты и измеряют их двумерные координаты.

Повышение четкости состоит из следующих этапов:

- выделение движущихся пикселей на изображении на основе анализа межкадровой разницы,

- определение направления движения каждого пикселя,

- объединение движущихся в одном направлении пикселей,

- подчеркивание контуров движущихся объектов (см. патент РФ № 2337501) [6].

Первый УКР 3 и второй УКР 6 объединяют в объекты пиксели, движущиеся в одном направлении. Под объектом понимают совокупность отличных от фона точек (пикселей) изображения с направлением движения, таких, что для каждой точки найдется не менее одной соседней точки, расположенной на расстоянии в один пиксель.

Для повышения четкости изображения у движущихся объектов первый УКР 3 и второй УКР 6 производят подчеркивание контуров путем сложения их исходного изображения с градиентным изображением. Значения яркости статичных областей изображения первый УКР 3 и второй УКР 6 оставляют неизменными.

Реализация алгоритма обнаружения движущихся объектов, основанного на вычислении межкадровой разности, позволяет компенсировать искажения изображения движущихся объектов на аппаратном уровне в первом УКР 3 и втором УКР 6 и обеспечивает своевременное обнаружение движущихся встречных объектов в реальном времени.

С выхода пятого ОЭД 11 на пятый вход СК 12 поступает изображение глаз водителя. Анализ изображения глаз водителя включает операции анализа изображений лица водителя, полученных в различных спектральных диапазонах (инфракрасном (ИК) и видимом) излучения и последующего обнаружения изображения лица и зрачков на основе следующих особенностей изображения лица: яркость фона в некотором диапазоне остается неизменной в независимости от ИК подсветки, яркость кожи лица значительно возрастает при включении ИК осветителя, а яркость зрачков, представляющих собой темные круги, неизменна. Каждый кадр изображения СК 12 разбивает на небольшие области. По каждой области СК 12 получает среднее значение яркостей пикселей, ее составляющих.

По анализу средних яркостей областей кадров при выключенном и включенном источнике ИК излучения СК 12 обнаруживает лицо на основе следующих особенностей. При включенном ИК излучении расстоянии кожа лица имеет почти белый цвет, тогда как фон, расположенный дальше от ОЭД, чем лицо, характеризуется существенно меньшей яркостью. Кроме этого для обнаружения лица используют дополнительный признак: при выключенном и включенном ИК излучении яркость соответствующей коже лица части кадра будет существенно отличаться, а яркость фона за лицом лишь незначительно изменится. Таким образом, совокупность данных признаков позволяет обнаружить лицо водителя простой с вычислительной точки зрения процедурой, реализованной СК 12. Заключительной операцией является обнаружение СК 12 глаз по наличию зрачков на изображении на основе двух признаков: при ИК освещении зрачок остается почти черным на изображении, а остальная часть лица светлой, а также круглой формы зрачка.

Изображения с выходов первого УКР 3, второго УКР 6, третьего УВИ 8, четвертого УВИ 10 поступают соответственно на первый, второй, третий, четвертый входы СК 12, который производит выделение контуров на изображениях, обнаружение неподвижных объектов на них, определение их трехмерных координат на основе известных формул (см. Шапиро Л., Стокман Дж. Компьютерное зрение: Пер. с англ. М.: БИНОМ. Лаборатория знаний, 2006. - 752 с.) [7] по парам стереоизображений, полученных первым ОЭД 1, втором ОЭД 4 и третьим ОЭД 7, четвертым ОЭД 9, и траекторий движения по изменению трехмерных координат объектов, обнаружение препятствий.

При обнаружении опасной ситуации (возможно столкновение с препятствием или закрытии водителем глаз на длительное время) с первого и второго выходов СК 12 передается сигнал на входы УЗИ 13 и ЖКИ 14, соответственно, для звукового и визуального оповещения водителя о сложившейся обстановке.

В своей совокупности представленные операции обнаружения движущихся объектов и глаз водителя позволяют параллельно распределить вычисления между различными модулями устройства и повысить скорость обработки изображений, что, в конечном счете, обеспечивает своевременное обнаружение факторов риска при движении транспортного средства.

В качестве первого ОЭД 1, второй ОЭД 4, третьего ОЭД 7, четвертого ОЭД 9 могут быть использованы цифровые видеокамеры Logitech 9000, Philips 1300. Для реализации пятого ОЭД 11 целесообразно использовать или одну из указанных выше видеокамер или аналоговую монохроматическую видеокамеру, формирующую на своем выходе стандартный телевизионный сигнал.

Первое УВИ 2, второе УВИ 5, третье УВИ 8, четвертое УВИ 10 могут быть реализованы по схеме, подробно рассмотренной в патенте РФ 2295153 [8], или на базе представленных широким спектром на современном рынке электроники стандартных средств ввода изображения, например, фирмы AverMedia. При этом отметим, что тип и структура устройств ввода изображения определяется типом используемых первого ОЭД 1, второй ОЭД 4, третьего ОЭД 7, четвертого ОЭД 9, пятого ОЭД 11 и типом системного контроллера 12.

Первое УКР 3 и второе УКР 6 должны быть реализованы на программируемой логической интегральной схеме по представленному в [6] решению.

В качестве системного контроллера 12 целесообразно использовать микроЭФВМ или цифровой сигнальный процессор, также допустимо использование так называемых карманных персональных компьютеров или компьютеров типа «ноутбук». В последнем случае с СК 12 конструктивно будут совмещены и УЗИ 13, ЖКИ 14. УЗИ 13, ЖКИ 14 кроме этого могут быть реализованы независимо от СК 12: для этого могут быть соответственно применены жидкокристаллические индикаторы и звуковые пьезоизлучатели.

Изобретение позволяет повысить безопасность движения за счет своевременного обнаружения препятствий на пути движения транспортного средства и закрытых длительное время глаз водителя и обеспечивает комплексный учет факторов, снижающих безопасность дорожного движения.