способ и устройство для обнаружения вождения в состоянии усталости и автомобиль, использующий эти способ и устройство

Формула изобретения

1. Способ обнаружения вождения в состоянии усталости, содержащий этапы, на которых:

анализируют изображение глаза водителя с помощью прямоугольного эталона признака для получения линии верхнего века, в частности, обходя изображения глаза посредством множества столбцов с помощью прямоугольного эталона признака и записывая расположения в каждом столбце, где значение признака прямоугольного эталона признака является максимальным, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака, и получают линию верхнего века, получая центральные точки прямоугольного эталона признака в расположении в каждом столбце, соединяют центральные точки, чтобы сформировать соединительную линию, и принимают соединительную линию в качестве линии верхнего века;

определяют состояние закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и

собирают статистику по состоянию закрытия глаза и, таким образом, определяют, находится ли водитель в состоянии усталости.

2. Способ по п.1, отличающийся тем, что перед обходом изображения глаза с помощью прямоугольного эталона признака интегрируют изображение глаза для получения интегрального изображения глаза; и этап обхода изображения глаза с помощью прямоугольного эталона признака содержит этапы, на которых: обходят интегральное изображение глаза с помощью прямоугольного эталона признака, вычисляют значение признака прямоугольного эталона признака в каждом расположении.

3. Способ по п.1, отличающийся тем, что многократно сканируют изображение глаза с помощью прямоугольных эталонов признака с размерами от большого до малого для получения линии верхнего века; и размер прямоугольных эталонов признака определяют динамически в соответствии с размером изображения глаза.

4. Способ по любому одному из пп.1-3, дополнительно содержащий этап, на котором: снижают шум линии верхнего века после получения линии верхнего века и перед определением состояния закрытия глаза в соответствии с кривизной линии верхнего века.

5. Способ по п.4, отличающийся тем, что этап снижения шума содержит этапы, на которых:

обнаруживают точки разрыва на линии века и делят линию века на несколько секций посредством принятия точки с резким изменением в качестве точек сегментации;

определяют доверительную секцию на линии века в качестве основы линии века; и

сканируют локально с помощью прямоугольного эталона признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.

6. Способ по любому одному из пп.1-3, отличающийся тем, что после получения линии верхнего века дополнительно содержит этап, на котором: выполнение подгонки кривой к линии века посредством квадратного многочлена для получения выражения квадратного многочлена линии века, рассматривая квадратичный коэффициент выражения квадратного многочлена в качестве кривизны или значения признака кривизны линии верхнего века; этап определения состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века содержит этапы, на которых:

сравнивают квадратичный коэффициент с предустановленным порогом кривизны линии века; и

определяют, таким образом, являются ли глаза водителя открытыми или закрытыми.

7. Способ по п.6, отличающийся тем, что порог кривизны линии века включает в себя первый порог и второй порог, который меньше первого порога; когда квадратичный коэффициент больше первого порога, определяют, что глаза водителя являются открытыми; когда квадратичный коэффициент меньше второго порога, определяют, что глаза водителя являются закрытыми; когда квадратичный коэффициент находится между первым и вторым порогами, дополнительно выполняют вспомогательное определение состояния закрытия глаза в соответствии с промежутком между верхним и нижним веками.

8. Способ по п.7, отличающийся тем, что вспомогательное определение состояния закрытия глаза в соответствии с промежутком между верхним и нижним веками содержит этапы, на которых:

сканируют изображение глаза с помощью прямоугольного эталона признака, основываясь на полученной линии верхнего века, для получения линии нижнего века;

вычисляют средний промежуток между линиями верхнего и нижнего века; и

сравнивают средний промежуток между линиями верхнего и нижнего века с предустановленным порогом промежутка линий века и определяют, таким образом, являются ли глаза водителя открытыми или закрытыми.

9. Способ по п.1, отличающийся тем, что этап сбора статистики по состоянию закрытия глаза и определения, таким образом, находится ли водитель в состоянии усталости, содержит этапы, на которых:

собирают статистику по длительности, когда глаза являются закрытыми, за последнее время, и определяют, что водитель находится в состоянии усталости, если длительность закрытых глаз превышает заданную длительность; или

собирают статистику по временному отношению длительности открытых глаз к длительности закрытых глаз в единицу времени и определяют, что водитель находится в состоянии усталости, если временное отношение превышает определенный порог.

10. Устройство обнаружения вождения в состоянии усталости, содержащее:

модуль получения линии верхнего века для сканирования изображения глаза водителя с помощью прямоугольного эталона признака для получения линии верхнего века,

первый модуль определения для определения состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и

модуль определения состояния усталости для сбора статистики по состоянию закрытия глаза и, таким образом, определения, находится ли водитель в состоянии усталости,

причем модуль получения линии верхнего века содержит:

блок сканирования для перемещения прямоугольного эталона признака по каждому столбцу изображения глаза;

блок вычисления разности шкалы оттенков серого для записи расположения в каждом столбце, где значение признака прямоугольного эталона признака является максимальным, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака;

блок вычерчивания линии верхнего века для получения линии верхнего века посредством получения линии верхнего века посредством получения центральных точек прямоугольного эталона признака в расположении в каждом столбце, соединения центральных точек для формирования соединительной линии и принятия соединительной линии в качестве линии верхнего века.

11. Устройство по п.10, отличающееся тем, что модуль получения линии верхнего века дополнительно содержит блок интегрирования, используемый для интегрирования изображения глаза перед обходом изображения глаза для получения интегрального изображения глаза; модуль получения линии верхнего века выполнен с возможностью сканирования интегрального изображения глаза с помощью прямоугольного эталона признака, вычисления значения признака прямоугольного эталона признака в каждом расположении.

12. Устройство по п.10 или 11, дополнительно содержащее: модуль снижения шума, используемый для снижения шума полученной линии верхнего века, содержащий:

блок деления линии века для обнаружения точек разрыва на линии века и деления линии века на несколько секций посредством принятия точек разрыва в качестве точек сегментации;

блок определения доверительной секции для определения доверительной секции на линии века в качестве основы линии века; и

блок коррекции линии века для сканирования с помощью прямоугольного эталона признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.

13. Устройство по п.10 или 11, дополнительно содержащее модуль подгонки, используемый для выполнения подгонки кривой к линии века посредством квадратного многочлена для получения выражения квадратного многочлена линии века, рассматривая квадратичный коэффициент выражения квадратного многочлена в качестве кривизны или значения признака кривизны линии верхнего века; первый модуль определения используется для сравнения квадратичного коэффициента с предустановленным порогом кривизны линии века и посредством этого определения, являются ли глаза водителя открытыми или закрытыми.

14. Устройство по п.13, отличающееся тем, что порог кривизны линии века включает в себя первый порог и второй порог, который меньше первого порога; когда квадратичный коэффициент больше первого порога, определяется первым модулем определения, что глаза водителя находятся в открытом состоянии; когда квадратичный коэффициент меньше второго порога, определяется, что глаза водителя находятся в закрытом состоянии; когда квадратичный коэффициент находится между первым и вторым порогами, второй модуль определения дополнительно включается для вспомогательного определения состояния закрытия глаза в соответствии с промежутком между верхним и нижним веками.

15. Устройство по п.14, дополнительно содержащее:

модуль получения линии нижнего века для сканирования изображения глаза с помощью прямоугольного эталона признака, основываясь на полученной линии верхнего века, для получения линии нижнего века;

второй модуль определения содержит:

блок вычисления промежутка между линиями верхнего и нижнего века для вычисления среднего промежутка между линиями верхнего и нижнего века; и

блок сравнения промежутка для сравнения среднего промежутка между линиями верхнего и нижнего века с предустановленным порогом промежутка линии века и, таким образом, определения, являются ли глаза водителя открытыми или закрытыми.

16. Устройство по п.15, отличающееся тем, что порог промежутка между линиями века изменяется динамически с кривизной или значением признака кривизны линии верхнего века; когда средний промежуток между линиями верхнего и нижнего века больше порога промежутка между линиями века, определяется, что глаза водителя находятся в открытом состоянии, в противном случае, они находятся в закрытом состоянии.

17. Автомобиль, содержащий:

устройство камеры, закрепленное около положения водителя, для съемки изображения лица водителя; и

устройство обнаружения вождения в состоянии усталости по любому одному из пп.10-16, размещенное на автомобиле для приема и обработки данных изображения от устройства камеры.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящая заявка относится к технологии безопасного вождения транспортного средства и, в частности, к технологии мониторинга вождения в состоянии усталости.

Известный уровень техники

Целью усовершенствованной технологии безопасности автомобиля является технология активной безопасности; т.е. посредством мониторинга водителя и транспортного средства, а также окружающей обстановки делается заблаговременная оценка возможных опасностей и принятие предупредительных мер. Технология раннего предупреждения усталости водителя представляет собой точно типовую технологию активной безопасности. Когда водитель находится в состоянии усталости, он ослабевает в различной степени в способности восприятия и оценки окружающей обстановки и управления транспортным средством и, таким образом, предрасположен к дорожным происшествиям. Поэтому исследование и разработка высокоэффективной технологии мониторинга в реальном времени и раннего предупреждения касательно внимания водителя могут эффективно уменьшить скрытые опасности, происходящие в результате такого поведения, как вождения в состоянии усталости, для достижения цели обеспечения безопасности водителя и относящегося к нему окружающего персонала.

Технология раннего предупреждения вождения в состоянии усталости, рассматривающая глаза водителя в качестве обнаруживаемого объекта, определяет степень невнимательности, главным образом, посредством обнаружения состояния глаз водителя, которая, в основном, использует камеру для сбора изображений лица и глаза водителя и затем определяет состояние глаза посредством анализа и моделирования изображения. Ключевая технология, связанная с этим, определяет открытое/закрытое состояние глаз водителя.

Большинство современных методов мониторинга усталости определяет, являются ли глаза водителя закрытыми, посредством определения состояния глаза, которые имеют следующие основные проблемы.

1. Низкая скорость обработки. Большой объем обработки должен выполняться над изображениями, и способ анализа является сложным и не может удовлетворять требованиям реального времени, обычно только одной секунды достаточно для обработки нескольких кадров изображения. В процессе вождения, однако, если глаза водителя являются закрытыми или почти закрытыми в течение одной секунды или около этого, в зависимости от разных скоростей автомобиля, водитель не может следить за дорожной ситуацией впереди и может вызвать серьезный инцидент, связанный с безопасностью. Только тогда, когда выполняются требования реального времени, может гарантироваться точность данных и может быть улучшена точность определения.

2. Плохая адаптируемость. Во-первых, состояние глаза может точно определяться посредством изображения хорошего качества; однако, если изображение неясное и количество шумовых точек увеличивается под влиянием таких факторов, как темный свет, разрешение камеры и движение головы водителя, точность не может гарантироваться. Во-вторых, когда водитель двигается вперед и назад или влево и вправо, вызывая изменение по размеру и углу изображения глаза, не может достигаться динамическая адаптация, делая точность неустойчивой.

Вследствие вышеописанных различных недостатков множество способов, выходя из лабораторных условий для фактического использования в автомобиле, не обеспечивают требуемых результатов и, таким образом, оказываются непрактичными.

Сущность изобретения

Настоящая заявка обеспечивает способ и устройство для обнаружения вождения в состоянии усталости, которые могут повысить общую скорость обработки и имеют высокую адаптируемость.

С одной стороны, настоящая заявка обеспечивает способ обнаружения вождения в состоянии усталости, содержащий:

анализ изображения глаза водителя при помощи прямоугольного эталона признака для получения линии верхнего века, в частности обход изображения глаза столбцами при помощи прямоугольного эталона признака и запись расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона признака, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака, и получение линии верхнего века, принимая центральную точку прямоугольного эталона признака в расположении в качестве точки линии верхнего века;

определение состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и

сбор статистики по состоянию закрытия глаза и, таким образом, определение, находится ли водитель в состоянии усталости.

С другой стороны, настоящая заявка обеспечивает устройство обнаружения вождения в состоянии усталости, содержащее: модуль получения линии верхнего века для сканирования изображения глаза водителя прямоугольным эталоном признака для получения линии верхнего века; первый модуль определения для определения состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и модуль определения состояния усталости для сбора статистики по состоянию закрытия глаза и, таким образом, определения, находится ли водитель в состоянии усталости.

Модуль получения линии верхнего века содержит: блок сканирования для перемещения прямоугольного эталона признака по каждому столбцу изображения глаза; блок вычисления разности шкалы оттенков серого для записи расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона признака, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака; и блок вычерчивания линии верхнего века для принятия центральной точки прямоугольного эталона признака в расположении в качестве точки на линии верхнего века.

В примере, устройство обнаружения вождения в состоянии усталости дополнительно включает в себя модуль подгонки, используемый для выполнения подгонки кривой к линии века квадратным многочленом для получения выражения квадратного многочлена линии века, рассматривая квадратичный коэффициент выражения квадратного многочлена в качестве кривизны или значения признака кривизны линии верхнего века; первый модуль определения используется для сравнения квадратичного коэффициента с предустановленным порогом кривизны линии века и, таким образом, определения, являются ли глаза водителя открытыми или закрытыми.

В другом примере порог кривизны линии века включает в себя первый порог и второй порог, который меньше первого порога; когда квадратичный коэффициент больше первого порога, определяется первым модулем определения, что глаза водителя находятся в открытом состоянии; когда квадратичный коэффициент меньше второго порога, определяется первым модулем определения, что глаза водителя находятся в закрытом состоянии; когда квадратичный коэффициент находится между первым и вторым порогами, второй модуль определения дополнительно включен для вспомогательного определения состояния закрытия глаза в соответствии с промежутком между верхним и нижним веками.

В примере устройство обнаружения вождения в состоянии усталости дополнительно включает в себя модуль получения линии нижнего века для сканирования изображения глаза посредством прямоугольного эталона признака, основываясь на полученной линии верхнего века для получения линии нижнего века. Второй модуль определения включает в себя: блок вычисления промежутка между линиями верхнего и нижнего века для вычисления среднего промежутка между линиями верхнего и нижнего века; и блок сравнения промежутка для сравнения среднего промежутка между линиями верхнего и нижнего века с предустановленным порогом промежутка линии века и, таким образом, определения, являются ли глаза водителя открытыми или закрытыми.

В примере порог промежутка между линиями века изменяется динамически с кривизной или значением признака кривизны линии верхнего века; когда средний промежуток между линиями верхнего и нижнего века больше порога промежутка между линиями века, определяется, что глаза водителя находятся в открытом состоянии, иначе, они находятся в закрытом состоянии.

В примере, модуль получения линии верхнего века дополнительно включает в себя блок интегрирования, используемый для интегрирования изображения глаза перед обходом изображения глаза для получения интегрального изображения глаза; модуль получения линии верхнего века выполнен с возможностью сканирования интегрального изображения глаза прямоугольным эталоном признака, вычисления значения признака прямоугольного эталона признака в каждом расположении, причем значение каждой точки в интегральном изображении глаза равно сумме шкалы оттенков серого прямоугольной области в изображении глаза с началом отсчета и этой точкой в качестве диагональных точек, причем сумма шкалы оттенков серого одного прямоугольника равна значению в верхнем левом углу прямоугольника плюс значение в нижнем правом углу минус значение в нижнем левом углу минус значение в верхнем правом углу.

В другом примере, устройство обнаружения вождения в состоянии усталости дополнительно включает в себя модуль снижения шума, используемый для снижения шума полученной линии верхнего века, причем модуль снижения шума включает в себя: блок деления линии века для обнаружения точек разрыва на линии века и деления линии века на несколько секций, принимая точки разрыва в качестве точек сегментации; блок определения доверительной секции для определения доверительной секции на линии века в качестве основы линии века; и блок коррекции линии века для сканирования локально прямоугольным эталоном признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.

С еще другой стороны, настоящая заявка обеспечивает автомобиль, содержащий: устройство камеры, закрепленное около положения водителя, для съемки изображения лица водителя; и устройство обнаружения вождения в состоянии усталости, описанное выше, размещенное на автомобиле для приема и обработки данных изображения от устройства камеры.

Настоящая заявка дополнительно описывает исполняемую компьютером программу, которая может выполнять следующие функции посредством компьютера:

анализ изображения глаза водителя прямоугольным эталоном признака для получения линии верхнего века, в частности обход изображения глаза столбцами посредством прямоугольного эталона признака и запись расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона признака, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака, и получение линии верхнего века принятием центральной точки прямоугольного эталона признака в расположении в качестве точки на линии верхнего века;

определение состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и

сбор статистики по состоянию закрытия глаза и, таким образом, определение, находится ли водитель в состоянии усталости.

Настоящая заявка дополнительно описывает считываемый компьютером носитель с вышеописанной исполняемой компьютером программой, записанной на нем, которая может выполнять следующие функции компьютером:

анализ области изображения глаза водителя прямоугольным эталоном характеристики для получения линии верхнего века, в частности обход изображения глаза столбцами посредством прямоугольного эталона признака и запись расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона характеристики, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака, и получение линии верхнего века принятием центральной точки прямоугольного эталона признака в расположении в качестве точки на линии верхнего века;

определение состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и

сбор статистики по состоянию закрытия глаза и, таким образом, определение, находится ли водитель в состоянии усталости.

Настоящая заявка, использующая прямоугольный эталон признака для сканирования и поиска области глаза и вычерчивания линии века, имеет хорошую помехозащищенность; посредством объединения прямоугольных эталонов разных размеров во время снижения шума может вычерчиваться линия века, более совпадающая с фактической линией века. Настоящая заявка, не требующая сложной и отнимающей много времени обработки изображения, имеет высокое общее быстродействие и эффективность. Настоящая заявка, определяющая, являются ли глаза открытыми или закрытыми в соответствии с формой верхнего века, является более точной, так как линия верхнего века имеет более высокую относительную контрастность, помехозащищенность и адаптируемость к изменениям в выражении лица.

Краткое описание чертежей

Фиг.1 представляет собой схематический вид конструкции устройства обнаружения линии века согласно примеру заявки;

фиг.2 представляет собой схематический вид конструкции устройства обнаружения вождения в состоянии усталости согласно примеру заявки;

фиг.3 представляет собой блок-схему последовательности операций способа обнаружения вождения в состоянии усталости согласно примеру заявки;

фиг.4 представляет собой схематический вид грубого определения расположения линии верхнего века;

фиг.5 представляет собой схематический вид вычисления значения признака эталона при помощи интегрального изображения;

фиг.6 представляет собой схематический вид коррекции линии верхнего века;

фиг.7 представляет собой схематический вид конструкции устройства обнаружения вождения в состоянии усталости согласно другому примеру заявки;

фиг.8 представляет собой блок-схему последовательности операций способа обнаружения вождения в состоянии усталости согласно другому примеру заявки; и

фиг.9 представляет собой схематический вид определения расположения линии нижнего века.

Подробное описание

Заявка ниже более подробно описывается совместно с вариантами осуществления и чертежами.

Пример 1:

Как показано на фиг.1, в примере согласно заявке обнаруживается линия, соответствующая веку, т.е. линия века, посредством прямоугольного эталона признака. Устройство обнаружения линии века включает в себя модуль 110 получения изображения глаза и модуль 120 получения линии века. Модуль 110 получения изображения глаза используется для получения изображения глаза водителя; и модуль 120 получения линии века используется для сканирования изображения глаза водителя посредством прямоугольного эталона признака для получения линии века. В примере, модуль 120 получения линии века может дополнительно включать в себя блок 122 сканирования, блок 123 вычисления разности шкалы оттенков серого и блок 124 вычерчивания линии века. Блок 122 сканирования используется для сканирования столбцами изображения глаза водителя посредством прямоугольного эталона признака; блок 123 вычисления разности шкалы оттенков серого используется для записи расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона признака, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака; блок 124 вычерчивания линии века используется для получения линии века посредством принятия центральной точки прямоугольного эталона признака в расположении в качестве точки на линии века.

В другом примере, модуль 120 получения линии века дополнительно включает в себя блок 121 интегрирования для интегрирования изображения глаза для получения интегрального изображения глаза; блок 122 сканирования сканирует интегральное изображение глаза посредством прямоугольного эталона признака, причем значение шкалы оттенков серого каждой точки в интегральном изображении глаза равно сумме шкалы оттенков серого прямоугольной области в изображении глаза с началом отсчета и этой точкой в качестве диагональных точек.

В еще другом примере устройство обнаружения линии века дополнительно включает в себя модуль 130 снижения шума, используемый для снижения шума полученной линии века, причем модуль 130 снижения шума включает в себя: блок 131 деления линии века, блок 132 определения доверительной секции и блок 133 коррекции линии века. Блок 131 деления линии века используется для обнаружения точек разрыва на линии века и деления линии века на несколько секций посредством принятия точек разрыва в качестве точек сегментации; блок 132 определения доверительной секции используется для определения доверительной секции на линии века в качестве основы линии века; и блок 133 коррекции линии века используется для сканирования посредством прямоугольного эталона признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.

Пример 2:

Как показано на фиг.2, пример, показанный на фиг.2, представляет собой применение вышеописанного устройства обнаружения линии века в устройстве обнаружения вождения в состоянии усталости, причем устройство обнаружения вождения в состоянии усталости включает в себя: модуль 210 получения изображения глаза, модуль 220 получения линии верхнего века, первый модуль 250 определения и модуль 260 определения состояния усталости. Модуль 210 получения изображения глаза используется для получения изображения глаза водителя в соответствии с изображением лица водителя, снятым устройством камеры (например, камерой); модуль 220 получения линии верхнего века используется для сканирования изображения глаза водителя посредством прямоугольного эталона признака для получения линии, соответствующей верхнему веку, т.е. линии верхнего века; первый модуль 250 определения используется для определения состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и модуль 260 определения состояния усталости используется для сбора статистики по состоянию закрытия глаза и, таким образом, определения, находится ли водитель в состоянии усталости.

Модуль 220 получения линии верхнего века включает в себя: блок 221 интегрирования, блок 222 сканирования, блок 223 вычисления разности шкалы оттенков серого и блок 224 вычерчивания линии верхнего века. Блок 221 интегрирования используется для интегрирования изображения глаза для получения интегрального изображения глаза; блок 222 сканирования используется для сканирования интегрального изображения глаза посредством прямоугольного эталона признака, конкретно перемещаясь по каждому столбцу интегрального изображения для вычисления значения шкалы оттенков серого каждой точки. В интегральном изображении глаза значение шкалы оттенков серого каждой точки равно сумме шкалы яркостей прямоугольной области в изображении глаза с началом отсчета и данной точкой в качестве диагональных точек. Блок 223 вычисления разности шкалы оттенков серого используется для записи расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона признака, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака; блок 224 вычерчивания линии верхнего века используется для принятия центральной точки прямоугольного эталона признака в расположении в качестве точки на линии верхнего века, и, таким образом, сканирования и вычисления каждого столбца в интегральном изображении для вычерчивания линии века.

В примере, так как предварительно полученная линия века должна быть дополнительно скорректирована после ее получения, устройство обнаружения вождения в состоянии усталости дополнительно включает в себя модуль 230 снижения шума для удаления некоторых точек помех или сегментов линии с помехами на предварительной линии века. Модуль 230 снижения шума включает в себя: блок 231 деления линии века, блок 232 определения доверительной секции и блок 233 коррекции линии века. Блок 231 деления линии века используется для обнаружения точек разрыва на линии века и деления линии века на несколько секций посредством принятия точек разрыва в качестве точек сегментации; блок 232 определения доверительной секции используется для определения доверительной секции на линии века в качестве основы линии века; и блок 233 коррекции линии века используется для сканирования посредством прямоугольного эталона признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.

В другом примере кривизна или значение характеристики кривизны линии верхнего века получается посредством модуля 240 подгонки, который выполняет подгонку кривой на линии века квадратным многочленом для получения выражения квадратного многочлена линии века, с квадратичным коэффициентом выражения квадратного многочлена в качестве кривизны или значения характеристики кривизны линии верхнего века; первый модуль 250 определения используется для сравнения квадратичного коэффициента с предустановленным порогом кривизны линии века и, таким образом, определения, являются ли глаза водителя открытыми или закрытыми.

Как показано на фиг.3, способ обнаружения вождения в состоянии усталости с вышеупомянутым устройством обнаружения вождения в состоянии усталости включает в себя следующие этапы.

Этап 310, сбор изображения лица водителя. Например, съемка изображения лица водителя при помощи инфракрасной камеры, установленной впереди или впереди снизу водителя, для получения данных изображения лица водителя и затем переход на этап 320.

Этап 320, определение расположения областей брови и глаза на изображении лица. Могут использоваться различные существующие решения определения расположения областей брови и глаза, и этот пример описывает только способ обнаружения глаз с примером. Например, определение расположения зоны лица в соответствии с классификатором признаков лица с предварительным обучением. После считывания каждого кадра видеоизображения анализ информации изображения лица в соответствии с признаками Харра, записанными в классификаторе признаков лица, и выполнение распознавания образов на изображении посредством алгоритма адаптивного усиления (AdaBoost) и связанного классификатора признаков лица для калибровки зоны лица в изображении. Затем определение представляющей интерес зоны для обнаружения глаза в зоне лица в соответствии с основным расположением, где расположены глаза водителя, например середины области лица, для сужения диапазона обнаружения глаз и повышения скорости обнаружения. И затем анализ изображения представляющей интерес зоны для обнаружения глаз в соответствии с признаками глаза, записанными в классификатор признаков глаза с предварительным обучением для определения расположения области глаза. Переход на этап 330 после определения расположения области глаза.

Этап 330, грубое определение расположения линии верхнего века в области глаза. Сканирование изображения глаза прямоугольным эталоном признака, обход каждого столбца изображения глаза и анализ изменения шкалы оттенков серого изображения глаза, таким образом получая линию верхнего века. Прямоугольный эталон признака представляет собой прямоугольное окно, которое используется для перемещения по каждому столбцу изображения глаза, как показано на фиг.4; вычисление разности шкалы оттенков серого между верхней и нижней половинами прямоугольника прямоугольного эталона признака (прямоугольник на чертеже) в каждом расположении в процессе перемещения и запись расположения самого большого значения признака посредством определения разности шкалы оттенков серого, представляющей собой значение признака прямоугольного эталона признака, с центральной точкой прямоугольного эталона признака в расположении в качестве точки на линии верхнего века. Обход последовательно каждого столбца, при этом одна точка на каждом столбце записывается в качестве точки на линии верхнего века, причем все точки вместе дают вычерченную линию века.

В примере, чтобы повысить рабочую скорость, интегрирование изображения глаза после грубого определения расположения изображения глаза для получения интегрального изображения глаза, причем значение точки P в интегральном изображении равно сумме шкалы оттенков серого прямоугольной области в изображении шкалы оттенков серого с началом отсчета изображения и точкой P в качестве диагональных точек. Интегральное изображение S изображения I шкалы оттенков серого определяется следующим образом:

Разность шкалы оттенков серого между верхней и нижней частями прямоугольного эталона характеристики вычисляется так, как показано на фиг.5. Значение точки P1 означает сумму шкалы оттенков серого области A и просто записывается как A; значение точки P2 равно A+B; значение точки P3 равно A+C; и значение точки P4 равно A+B+C+D. Следовательно, сумма шкалы оттенков серого прямоугольной области D, окруженной точками P1, P2, P3 и P4, может быть представлена как P1+P4-P2-P3. Вычисление признака серого цвета прямоугольного эталона с помощью интегрального изображения не связано с размером прямоугольника.

Для вычисления интегрального изображения необходимо только обойти один раз изображение и записать значение шкалы оттенков серого каждой точки, а не вычислять один раз для каждого обхода, таким образом делая скорость вычисления очень малой посредством вычисления значения характеристики при помощи интегрального изображения.

Для дополнительного повышения точности может выполняться много раз сопоставление по верхнему веку от грубой формы к точной. Сначала использование большего прямоугольного эталона для поиска линии века и затем сканирование меньшим прямоугольным эталоном около полученной линии века, при этом выполняя операцию таким образом много раз. Больший прямоугольный эталон имеет лучшую помехозащищенность, тогда как меньший прямоугольный эталон может лучше совпадать с фактическим краем.

Размер прямоугольного эталона может или задаваться статично, или определяться динамически в соответствии с размером изображения, причем последнее имеет лучшую адаптируемость.

После предварительного вычерчивания линии верхнего века, чтобы сделать вычерченную линию века более совпадающей с фактической линией века, снижение шума предварительно вычерченной линии верхнего века на этапе 340 для удаления неправдоподобных точек или секций на линии века. Процесс снижения шума включает в себя следующие этапы.

1. Обнаружение точек разрыва на линии века и деление линии века на несколько секций, принимая точки разрыва в качестве точек сегментации. Вычисление разности расстояния в продольном направлении между передней и задней точками для нахождения точек, имеющих разность расстояния больше заданного порога, и деление линии верхнего века на несколько секций, как показано на фиг.6, где вся линия века может быть разделена на четыре секции E, F, G и H. Порог Df может быть вычислен по следующей формуле, где L представляет собой длину линии верхнего века, и n - эмпирическое значение.

2. Определение доверительной секции на линии века в качестве основы линии века.

3. Сканирование прямоугольным эталоном признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.

Сканирование прямоугольным эталоном признака влево и вправо от обоих концов доверительной секции для удлинения секции, где отсканированный диапазон представляет собой область действия с некоторыми верхним и нижним порогами, принимая координату Y начальной точки в качестве центра, пороги могут регулироваться в соответствии с размером изображения и могут быть меньше разности расстояния при поиске точек разрыва. Например, правый конец самой большой секции имеет значение X, равное 30, и значение Y, равное 20, а также значение порога 5, и тогда сканированный диапазон следующей точки находится между линией 31 и линиями 15-25. Затем поиск следующей точки, основываясь на новом правом конце, и т.д. Как показано на фиг.6, сплошная линия представляет собой предварительно обнаруженную линию века, и пунктирные линии на обоих концах сплошной линии представляют собой линию века, удлиненную посредством сканирования прямоугольным эталоном признака, при этом случай аналогичен для левой стороны.

Существуют следующие два случая при определении доверительной секции.

1. Нахождение секции, имеющей длину более 1/2L в нескольких разделенных секциях, и взятие этой секции в качестве доверительной секции; и затем удлинение этой секции к обеим сторонам по способу на этапе 3.

2. Если доверительная секция не найдена согласно случаю 1, нахождение всех секций, имеющих длину более 1/4L, и обработка их в соответствии с количеством секций, удовлетворяющих условиям соответственно.

Если есть только одна секция, имеющая длину более 1/4L, нахождение самой длинной секции в остальных секциях и обработка их в соответствии с двумя секциями.

Если есть две секции, удовлетворяющие условиям, удлинение одной из них к другой секции аналогично этапу 3, и, если удлинение перекрывается с другой секцией, образование новой секции, составленной из двух секций и всех точек, полученных в процессе удлинения между двумя секциями. Принятие новой секции в качестве доверительной секции и удлинение ее к обеим сторонам по способу на этапе 3. Другим способом является следующий: сначала удлинение одной из секций влево и вправо соответственно для соединения со следующей секцией, отделенной одной секцией; если соединение может быть сделано, продолжать удлинять от обоих концов новую секции, образованной соединением до тех пор, пока не будет секции для соединения или способной соединиться в любом из двух направлений. Запись начального положения новой секции. Восстановление первоначальных данных каждой секции. Удлинение другой секции аналогичным образом. Сравнение длин новых секций после удлинения двух секций, принимая самую длинную новую секцию, полученную удлинением (первоначальная секция) в качестве доверительной секции, и удлинение ее к обеим сторонам по способу на этапе 3.

Если имеется три секции, имеющие длину больше 1/4L, удлинение средней секции к обеим сторонам аналогично этапу 3 для соединения с левой и правой секциями. Если соединение может быть выполнено, принятие новой секции в качестве доверительной секции. Или соединение центральной секции с секцией на одной стороне. Если соединение может быть выполнено, принятие новой секции в качестве доверительной секции; если соединение не может быть выполнено, соединение левой и правой секций и принятие новой секции, образованной таким образом, в качестве доверительной секции. После образования доверительной секции удлинение ее к обеим сторонам по способу этапа 3.

Переход на этап 350 после снижения шума линии века и подгонка к линии верхнего века. Выполнение подгонки методом наименьших квадратов при помощи выражения квадратного многочлена y=ax²+bx+c в качестве функции подгонки. Так как изображение с помехами может включать в себя часть кроме двух углов глазной щели, которые обычно имеют меньшую разность шкалы оттенков серого, чтобы дополнительно устранить помехи этой части до результатов, удаление точек при подгонке, которая имеет соответствующую разность шкалы оттенков серого прямоугольного эталона, которая меньше некоторого порога, например, принимая удвоенную область эталона в качестве порога.

Получение выражения квадратного многочлена линии века после подгонки, принимая квадратичный коэффициент a выражения квадратного многочлена в качестве кривизны или значения признака кривизны линии верхнего века, и затем переход на этап 360.

Этап 360, определение состояния закрытия глаза, т.е. состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века, который конкретно включает в себя: сравнение квадратичного коэффициента a с предустановленным порогом кривизны линии века; и, таким образом, определение, являются ли глаза водителя открытыми или закрытыми.

Этап 370, сбор статистики по состоянию закрытия глаза и, таким образом, определение, находится ли водитель в состоянии усталости. Например, сбор статистики по длительности, когда глаза закрыты в последнее время, и определение, что водитель находится в состоянии усталости, если длительность закрытых глаз превышает заданную длительность; или сбор статистики по отношению длительности открытых глаз к длительности закрытых глаз в единицу времени, и определение, что водитель находится в состоянии усталости, если отношение в единицу времени превышает некоторый порог.

Данный пример получает линию века посредством способа постолбчатого сопоставления посредством прямоугольного эталона признака, которому не требуется выполнение избыточной обработки изображений, таким образом делая то, что пример имеет преимущества в высокой общей скорости, хорошей адаптируемости к ухудшению качества изображения, являющемуся результатом таких различных условий, как свет и хорошая адаптируемость к движению вперед-назад водителя.

Данный пример определяет состояние закрытия глаз водителя в соответствии с кривизной века, и, так как линия верхнего века имеет более высокие характеристики контрастности, помехозащищенности и адаптируемости к изменениям выражения лица, радиан верхнего века обычно мало изменяется, когда водитель улыбается или жмурится, данный пример получает более точное определение по сравнению со способом определения состояния закрытия глаз в соответствии с промежутком между верхними и нижними кромками радужной оболочки глаза или верхними и нижними веками, уменьшает влияние положения головы водителя на определение и повышает точность определения усталости. Кроме того, данный пример имеет хорошую общую системную своевременность и высокую чувствительность и может эффективно уменьшать ложные и пропущенные отчеты и имеет лучшую осуществимость.

Данный пример перед сканированием сначала вычисляет интегральное изображение глаза, которое значительно увеличивает скорость вычисления значения признака прямоугольного эталона признака.

Отличаясь от других алгоритмов снижения шума, основанных на коррекции оцениваемого значения, данный пример принимает более длинную секцию в качестве доверительной секции и корректирует линию века, основываясь на измеренных значениях посредством сканирования прямоугольным эталоном признака в пределах локального диапазона на обоих концах доверительной секции, что является, таким образом, более точным.

В данном примере полученная линия века сглаживается посредством метода наименьших квадратов, который устраняет явление, что полученная линия века не является такой гладкой из-за плохого качества изображения, делая линию века более совпадающей с фактической формой века; данный пример одновременно дополнительно устраняет помехи от индивидуальных шумовых точек. Так как линия верхнего века соответственно близка параболе и прямой линии, когда глаза открыты и закрыты, данный пример принимает выражение квадратного многочлена y=ax ²+bx+c в качестве функции подгонки. После обработки методом наименьших квадратов может быть получено выражение квадратного многочлена линии века; квадратичный коэффициент квадратного многочлена может лучше отражать кривизну верхнего века и является более точным по сравнению с другими способами непосредственного вычисления кривизны, имеющим лучшую адаптируемость к углу и качеству изображения.

Пример 3:

Данный пример дополнительно повышает точность определения состояния закрытия глаз. Так как некоторые люди имеют верхние веки с неочевидным радианом вследствие таких причин, как ровное верхнее веко или взгляд вниз, кривизна верхнего века не изменяется очевидно, когда глаза открыты и закрыты; если определять состояния закрытия глаз водителя просто в соответствии с кривизной верхнего века, иногда может быть сделано ошибочное определение. В данном примере, кроме определения состояния закрытия глаз водителя в соответствии с кривизной верхнего века, средний промежуток между верхним и нижним веками дополнительно используется для вспомогательного определения.

Схематическим видом конструкции устройства обнаружения вождения в состоянии усталости данного примера является тот, который показан на фиг.7, причем второй модуль 280 определения и модуль 270 получения линии нижнего века добавлены в вышеупомянутый пример. Модуль 270 получения линии нижнего века используется для получения линии, соответствующей нижнему веку, т.е. линии нижнего века, основываясь на полученной линии верхнего века посредством сканирования изображения глаза прямоугольным эталоном признака.

Второй модуль 280 определения после предварительного определения первым модулем 250 определения выполняет другое вспомогательное определение состояния закрытия глаза в соответствии со средним промежутком между верхним и нижним веками.

В примере, порог кривизны линии века включает в себя первый порог и второй порог, который меньше первого порога; когда квадратичный коэффициент больше первого порога, определяется первым модулем определения, что глаза водителя являются открытыми; когда квадратичный коэффициент меньше второго порога, определяется, что глаза водителя являются закрытыми; когда квадратичный коэффициент находится между первым и вторым порогами, выполняется вспомогательное определение вторым модулем определения состояния закрытия глаз в соответствии с промежутком между верхним и нижним веками.

Второй модуль 280 определения включает в себя блок вычисления промежутка между линиями верхнего и нижнего века и блок сравнения промежутка. Блок вычисления промежутка между линиями верхнего и нижнего века вычисляет средний промежуток между линиями верхнего и нижнего века в соответствии с вычерченными линиями верхнего и нижнего века; и блок сравнения промежутка используется для сравнения среднего промежутка между линиями верхнего и нижнего века с предустановленным порогом промежутка между линиями века и, таким образом, определения, являются ли глаза водителя открытыми или закрытыми.

В примере, порог промежутка между линиями века может изменяться динамически с кривизной или значением признака кривизны линии верхнего века; когда средний промежуток между линиями верхнего и нижнего века больше порога промежутка между линиями века, определяется, что глаза водителя являются открытыми, в противном случае - закрытыми.

Способом обнаружения вождения в состоянии усталости, основанным на устройстве обнаружения вождения в состоянии усталости данного примера, является тот, который показан на фиг.8, включающий в себя следующие этапы.

Этап 810, сбор изображения лица водителя.

Этап 812, определение расположения областей брови и глаза на изображении лица.

Этап 814, грубое определение расположения линии верхнего века на области глаза.

Этап 816, снижение шума линии верхнего века.

Этап 818, подгонка линии верхнего века.

Этап 820, определение состояния глаза в соответствии с формой линии верхнего века (например, кривизны или значения признака кривизны). Принятие квадратичного коэффициента a многочлена, полученного в результате подгонки, в качестве основы определения. Определение верхнего и нижнего порогов Ch и Cl, причем нижний порог Cl гарантирует, что определение закрытия глаза не будет ошибочным в большинстве случаев. Для гарантии адаптируемости нижний порог Cl также может быть не единственным в качестве основы определения. На этапе 822, если квадратичный коэффициент a больше верхнего порога Ch, считается, что глаза являются открытыми; если квадратичный коэффициент a меньше нижнего порога Cl, считается, что глаза являются закрытыми, и затем выполняется этап 830, в противном случае переход на этап 824.

Этап 824, когда квадратичный коэффициент a находится между первым и вторым порогами, над состоянием глаза выполняется вспомогательное определение. Обнаружение линии нижнего века в соответствии с обнаруженной линией верхнего века, принятие некоторого диапазона над и под линией, соединяющей левую и правую точки линии века после подгонки в качестве области сканирования линии нижнего века, такого как некоторый диапазон над или ниже пунктирной линии L1, как показано на фиг.9 (например, область между пунктирными линиями L2 и L3 на фиг.9) и получение линии нижнего века сканированием посредством прямоугольного эталона признака, такой как линия L4 на фиг.9.

Линия нижнего века также может быть получена посредством сопоставления много раз из грубой формы в точную таким образом, которым получают линию верхнего века.

Этап 826, вычисление среднего промежутка между линиями верхнего и нижнего века.

Этап 828, определение, являются ли глаза закрытыми в соответствии со средним промежутком между линиями верхнего и нижнего века. Использование среднего промежутка между верхним и нижним веками в качестве второго основания определения, определение двух опорных порогов, причем один опорный порог Dl больше и стремиться гарантировать, что закрытые глаза не будут ошибочно определены как открытые глаза, другой опорный порог Ds меньше и стремится гарантировать, что открытые глаза не будут ошибочно определены как закрытые глаза. В соответствии с расположением квадратичного коэффициента a между верхним и нижним порогами, как показано формулой Dd=Dl-(Dl-Ds)*((a-Cl)/(Ch-Cl)), принятие перемещения порога Dd промежутка между опорными порогами в качестве основы определения; порог промежутка перемещается к Ds, когда квадратичный коэффициент a близок к Ch, и наоборот. Когда средний промежуток между верхним и нижним веками больше порога промежутка, определяется, что глаза водителя являются открытыми, в противном случае они являются закрытыми. Выполнить этап 830 в соответствии с результатами определения.

Этап 830, сбор статистики по данным предыстории состояния закрытия глаза и сравнение статистических результатов с предустановленным условием, таким образом определяя, находится ли водитель в состоянии усталости.

В данном примере линия нижнего века также может быть обнаружена после подгонки линии верхнего века, т.е. основываясь на обработанной линии верхнего века.

Данный пример использует средний промежуток между верхним и нижним веками для вспомогательного определения; для случаев, когда первый модуль определения не может определить, окончательное определение выполняется при помощи переменного порога в соответствии с радианом верхнего века. Средний промежуток между верхним и нижним веками является стабильным для определения, что глаза являются закрытыми, тогда как радиан верхнего века является стабильным для определения, что глаза являются открытыми, комбинация обоих повышает адаптируемость алгоритма определения вождения в состоянии усталости.

Вышеописанные модули или процессы могут быть скомпилированы в программу, которая может быть установлена в компьютере, включающем различные процессоры.

Программа, скомпилированная из вышеописанных модулей или процессов, может храниться на внешнем считываемом носителе данных, которым может быть дискета, компакт-диск (CD-ROM), жесткий диск, носитель с записью на ленту, полупроводниковая память на карточке с интегральной схемой (IC) или другие носители оптической записи (например, цифровой многофункциональный диск (DVD) или диск с двойным изменением фазы (PD)) или магнитный носитель записи. Носители дополнительно включают в себя электрические, оптические, акустические или другие виды сигналов связи (например, несущие волны, инфракрасные сигналы и цифровые сигналы).

Вышеприведенные примеры могут применяться на автомобиле для обнаружения, находится ли водитель в состоянии вождения в состоянии усталости; в примере, автомобиль включает в себя устройство камеры и устройство обнаружения вождения в состоянии усталости любого из вышеприведенных примеров. Устройство камеры устанавливается около положения водителя для съемки изображения лица водителя, такого как изображение всего лица водителя или изображения верхней половины лица водителя. Устройство камеры может представлять собой инфракрасную камеру или камеру других типов. Устройство камеры выводит данные изображения лица водителя на устройство обнаружения вождения в состоянии усталости, которое определяет, находится ли водитель в состоянии вождения в состоянии усталости после обработки данных изображения посредством того, как описано в вышеупомянутых примерах.

В другом примере автомобиль дополнительно включает в себя устройство тревожной сигнализации, с которым связано устройство обнаружения вождения в состоянии усталости; когда водитель находится в состоянии вождения в состоянии усталости, устройство обнаружения вождения в состоянии усталости выводит сигнал тревожной сигнализации на устройство тревожной сигнализации, управляя устройством тревожной сигнализации на выдачу звуковой и/или световой тревожной сигнализации.

То, что описывается выше, представляет собой дополнительное подробное объяснение настоящей заявки в комбинации с конкретными вариантами осуществления; однако, нельзя считать, что конкретные варианты осуществления настоящей заявки ограничиваются только объяснением. Для специалиста в данной области техники также могут быть сделаны некоторые простые заключения или замены с учетом идеи настоящей заявки, и все должны рассматриваться как принадлежащие объему защиты настоящей заявки.