способ и система моделирования интерфейса между пользователем и окружающей средой на борту транспортного средства

Формула изобретения

1. Способ определения модели интерфейса между пользователем и окружающей средой на борту транспортного средства, содержащий следующие этапы: осуществляют разработку (Е1) модели интерфейса на основании первого типа информации, характеризующей интерфейсные элементы транспортного средства, и второго типа информации, характеризующей знания, которыми обладает пользователь, по использованию интерфейсных элементов, собирают данные (Е2), характеризующие, по меньшей мере, один вид человеческой деятельности, который задействован во время взаимодействия между пользователем и интерфейсными элементами, при этом сбор этих данных осуществляют при помощи, по меньшей мере, одного прибора сбора данных; анализируют (Е3) полученные данные, корректируют (Е4) модель интерфейса в зависимости от анализа данных, отличающийся тем, что два типа информации: первый тип информации технического порядка и второй тип информации, связанный с человеческим фактором, поступают в одинаковой конфигурации в динамическую базу данных, имеющую симметричную структуру «пользователь - техническая система».

2. Способ по п.1, отличающийся тем, что информацию обоих типов конфигурируют по одинаковой когнитивной многофакторной модели.

3. Способ по п.2, отличающийся тем, что для конфигурации информации первого типа по когнитивной многофакторной модели устанавливают связь между процедурами использования транспортного средства и интерфейсными элементами транспортного средства.

4. Способ по п.2, отличающийся тем, что для конфигурации информации первого типа по многофакторной когнитивной модели осуществляют идентификацию функциональных зон на каждом рассматриваемом интерфейсном элементе.

5. Способ по любому из пп.2-4, отличающийся тем, что на этапе конфигурации информации первого типа по многофакторной когнитивной модели для каждого интерфейсного элемента: определяют задачи, связанные с использованием транспортного средства и выполняемые интерфейсным элементом, определяют факторы когнитивной многофакторной модели относительно определенных задач, устанавливают связь между определенными факторами когнитивной модели и идентифицируемыми функциональными зонами интерфейсного элемента.

6. Способ по любому из пп.1-4, отличающийся тем, что в качестве выбранного вида человеческой деятельности, задействованного во время взаимодействия между пользователем и интерфейсными элементами, выбирают зрительную деятельность, голосовую деятельность, слуховую деятельность, моторику, физиологические проявления и реакции человеческого тела.

7. Способ по любому из пп.1-4, отличающийся тем, что в качестве прибора сбора данных используют окулометрический прибор, регистрирующий зрительные данные, характеризующие визуальное наблюдение интерфейсных элементов пользователем.

8. Способ по любому из пп.1-4, отличающийся тем, что интерфейсными элементами являются бортовые приборы кабины самолета.

9. Способ по любому из пп.1-4, отличающийся тем, что интерфейсными элементами являются приборы приборного щитка автомобиля.

10. Использование модели взаимодействия определенным способом по любому из пп.1-9 для проектирования одного или нескольких интерфейсных элементов или их расположения.

11. Использование модели взаимодействия определенным способом по любому из пп.1-9 для оценки одного или нескольких интерфейсных элементов.

12. Использование модели взаимодействия определенным способом по любому из пп.1-9 для изменения процедуры использования транспортного средства.

13. Использование модели взаимодействия определенным способом по любому из пп.1-9 для обучения пилота.

14. Система (30) определения модели интерфейса между пользователем и окружающей его средой на борту транспортного средства, отличающаяся тем, что содержит: средство (36) разработки модели на основании первого типа информации, характеризующей интерфейсные элементы транспортного средства, и второго типа информации, характеризующей знания, которыми обладает пользователь по использованию интерфейсных элементов, при этом два типа информации: первый тип информации технического порядка и второй тип информации, связанный с человеческим фактором, поступают в одинаковой конфигурации в динамическую базу данных, имеющую симметричную структуру «пользователь - техническая система», по меньшей мере, один прибор (38) для сбора данных, характеризующих, по меньшей мере, один вид человеческой деятельности, который задействован во время взаимодействия между пользователем и интерфейсными элементами, средство (36) анализа полученных данных, средство (36) корректировки модели интерфейса в зависимости от анализа данных.

Описание изобретения к патенту

Область техники

Изобретение касается способа и системы определения модели интерфейса между пилотом и окружающей его средой на борту транспортного средства.

Предшествующий уровень техники

В различных областях (авиация, вождение автомобиля, судовождение и т.д.) для эксплуатации воздушных, наземных или морских транспортных средств (пилотирование или вождение, навигация, связь, контроль за окружающей средой, управление системами и т.д.) требуется наличие приборных панелей, оборудованных множеством интерфейсных элементов.

Для успешного выполнения стоящих перед ним задач пользователь транспортного средства, управляющий интерфейсными элементами, должен в совершенстве знать функции, выполняемые интерфейсными элементами, понимать информацию, выдаваемую этими элементами, а также знать процедуры, описывающие предназначенные для выполнения последовательности действий (ручные, визуальные, слуховые), связанные с интерфейсными элементами.

Таким образом, понятно, что во время пилотирования транспортного средства взаимодействие между пользователем и интерфейсными элементами, находящимися на борту транспортного средства, имеет огромное значение, и поэтому данному взаимодействию уделяется большое внимание.

Краткое изложение сущности изобретения

Задачей настоящего изобретения является усовершенствование существующих интерфейсных элементов, разработка новых интерфейсных элементов, или усовершенствование процедуры выполнения полета, или усовершенствование расположения различных интерфейсных элементов относительно друг друга.

Объектом настоящего изобретения является способ определения модели интерфейса между пользователем и окружающей его средой на борту транспортного средства, характеризующийся тем, что содержит следующие этапы:

разработка модели интерфейса на основании первого типа информации, характеризующей интерфейсные элементы транспортного средства, и второго типа информации, характеризующей знания, которыми обладает пользователь, по использованию интерфейсных элементов;

сбор данных, характеризующих, по меньшей мере, один вид человеческой деятельности, который задействован во время взаимодействия между пользователем и интерфейсными элементами, при этом сбор этих данных осуществляют при помощи, по меньшей мере, одного прибора сбора данных;

анализ полученных таким образом данных;

корректировка модели интерфейса в зависимости от анализа данных.

Модель интерфейса разрабатывают на основе двойной связи «пользователь - техническая система», а не только исходя из технической информации о системе, что позволяет получить очень надежную модель, построенную на основании всех данных, структурированных относительно друг друга таким образом, чтобы они наиболее наглядно характеризовали взаимодействие между пользователем и окружающей его средой на борту транспортного средства и, в частности, интерфейсными элементами этого транспортного средства.

Благодаря зарегистрированным данным, которые отражают зрительное поведение, и/или жестикуляцию, и/или голосовые действия, и/или физиологическое поведение пользователя по отношению к интерфейсным элементам, и в результате интерпретации этих данных можно усовершенствовать предварительно разработанную модель, максимально приблизив ее к контексту, который она должна отображать.

Можно, например, обнаруживать аномальные явления в работе интерфейсных элементов, производить оценку новых интерфейсных элементов, определять интерфейсный элемент, который должен выдавать определенную информацию или обеспечивать определенные функции, или определить, что новый интерфейсный элемент, выполняющий одну или несколько функций, представляет особый интерес.

Согласно изобретению, два типа информации - первый тип информации технического порядка и второй тип информации, связанный с человеческим фактором, поступают в одинаковой конфигурации в динамическую базу данных, имеющую симметричную структуру «пользователь - техническая система».

Поскольку информация обоих типов поступает все время в едином одинаковом формате, обеспечивается выигрыш во времени и эффективность при обработке этой информации и, следовательно, при разработке модели.

Согласно изобретению, информацию обоих типов конфигурируют по одинаковой когнитивной многофакторной модели.

Такое отображение информации оказалось наиболее предпочтительным и эффективным для разработки модели взаимодействия.

Согласно изобретению, конфигурация информации первого типа по когнитивной многофакторной модели содержит этап установления связи между процедурами использования транспортного средства и интерфейсными элементами транспортного средства.

Таким образом, устанавливают соответствие между различными этапами процедур использования транспортного средства (например, пилотирования) и интерфейсными элементами, которое используют на каждом этапе для моделирования интерфейсных элементов.

Согласно изобретению, конфигурация информации первого типа по многофакторной когнитивной модели содержит этап идентификации функциональных зон на каждом рассматриваемом интерфейсном элементе.

Определяя такие зоны внутри одного интерфейсного элемента, можно получить детальную модель каждого интерфейсного элемента и, следовательно, получить в дальнейшем во время этапа сбора данных детальную информацию о взаимодействии между пользователем (например, пилотом) и зонами, даже несколькими зонами разных интерфейсных элементов.

Таким образом, модель будет еще более полной и, следовательно, более надежной за счет сбора окулометрических данных, относящихся к этим зонам одного интерфейсного элемента или даже нескольких интерфейсных элементов.

Согласно изобретению, конфигурация информации первого типа по многофакторной когнитивной модели содержит для каждого интерфейсного элемента следующие этапы:

определение задач, связанных с использованием транспортного средства и выполняемых интерфейсным элементом;

определение факторов когнитивной многофакторной модели относительно определенных задач;

установление связи между определенными факторами когнитивной модели и идентифицируемыми функциональными зонами интерфейсного элемента.

Полученная модель отражает взаимодействие пользователя (например, пилота) с интерфейсным элементом, учитывая задачи, которые должен выполнять интерфейсный элемент и которые определяются, например, процедурами использования транспортного средства (например, пилотирования).

Согласно изобретению, выбранным видом человеческой деятельности, задействованным во время взаимодействия между пользователем и интерфейсными элементами, может быть зрительная деятельность, голосовая деятельность, слуховая деятельность, моторика, физиологические проявления и реакции человеческого тела.

Сбор и анализ данных, отражающих различные виды человеческой деятельности, позволяют получить очень полезную информацию, например, для дополнения/изменения модели взаимодействия.

Согласно отличительному признаку, прибор сбора данных является окулометрическим прибором, регистрирующим зрительные данные, характеризующие визуальное наблюдение интерфейсных элементов пользователем.

Такой прибор является наиболее предпочтительным для описания зрительного поведения пользователя (например, пилота), когда его взгляд окидывает различные интерфейсные элементы, а также внешнюю визуальную среду и даже отдельные зоны внутри одного или нескольких интерфейсных элементов.

Этот прибор можно соединить с другим прибором, позволяющим регистрировать, например, в видеоизображении жесты пилота, тогда как положение его глаз отслеживается первым прибором. Можно также применять аудиозаписи. Благодаря этому получают большее количество предназначенных для обработки данных и большее разнообразие данных, что позволяет обогатить модель интерфейса и сделать ее еще более надежной в том контексте, который она должна отражать.

Модель интерфейса, как она кратко определена выше, находит свое применение во многих областях (авиация, космонавтика, вождение автомобиля, мореплавание и т.д.) и может использоваться при:

усовершенствовании одного или нескольких интерфейсных элементов;

проектировании одного или нескольких интерфейсных элементов;

оценке одного или нескольких новых интерфейсных элементов;

изменении процедуры использования (например, пилотирования) транспортного средства;

подготовке пользователей (например, пилотов) для управления транспортным средством.

Объектом настоящего изобретения является также система определения модели интерфейса между пользователем и окружающей средой на борту транспортного средства, характеризующаяся тем, что содержит:

средства разработки модели на основании первого типа информации, характеризующей интерфейсные элементы транспортного средства, и второго типа информации, характеризующей знания, которыми обладает пользователь по использованию интерфейсных элементов;

по меньшей мере один прибор для сбора данных, характеризующих по меньшей мере один вид человеческой деятельности, который задействован во время взаимодействия между пользователем и этими интерфейсными элементами;

средства анализа полученных данных;

средства корректировки модели интерфейса в зависимости от анализа данных.

Эта система характеризуется теми же аспектами и преимуществами, что были указаны выше для способа, и их повторное перечисление опускается.

Краткое описание чертежей

Другие отличительные признаки и преимущества будут более очевидны из нижеследующего описания, представленного исключительно в качестве неограничительного примера выполнения, со ссылками на прилагаемые чертежи, на которых:

фиг.1а изображает схему последовательности операций способа определения модели интерфейса, согласно изобретению;

фиг.1b - блок-схему системы моделирования интерфейса, согласно изобретению;

фиг.2 - схему процесса разработки модели интерфейса, согласно изобретению;

фиг.3 - блок-схему последовательности операций способа с детализацией этапов, показанных на фиг.1а, согласно изобретению;

фиг.4 - таблицу соответствия между процедурой выполнения полета и бортовыми приборами, используемыми на каждом этапе процедуры, согласно изобретению;

фиг.5 - схему идентификации различных зон информации на бортовом приборе, согласно изобретению;

фиг.6 - схему функций, придаваемых зонам, определенным на фиг.5, согласно изобретению;

фиг.7 - таблицу связи между факторами когнитивной модели и функциональными зонами бортового инструмента, показанного на фиг.5, согласно изобретению;

фиг.8 - пример разработки таблиц 16 и 18 фиг.1а, согласно изобретению;

Описание предпочтительных вариантов воплощения изобретения

Изобретение предпочтительно находит применение в авиации, в частности, при моделировании интерфейсных элементов кабины самолета.

В кабине самолета расположены различные типы приборных панелей, например главная приборная панель IP ( main instrument panel ), на которой находятся бортовые приборы, выполняющие роль интерфейсных элементов для пилота, называемого PF ( Pilot Flying ), и второго пилота, называемого PNF ( Pilot Non Flying ), например прибор, называемый PFD или главный полетный дисплей ( Primary Flight Display ), или прибор, называемый ND или навигационный дисплей ( Navigation Display ). Здесь же находятся центральная панель СР ( central panel ), верхняя панель ОР ( overhead panel ) и панель под лобовым стеклом GS ( glareshield panel ).

Пользователь кабины, т.е. пилот, использует все интерфейсные элементы вышеуказанных бортовых приборных панелей для пилотирования самолета, выполнения навигационных задач, а также соблюдения мер безопасности для удержания самолета в области полета.

Для облегчения выполнения этих задач пилотом и обеспечения его деятельности при максимальной безопасности возникла необходимость определения модели интерфейса между пилотом и окружающей его средой на борту самолета.

Алгоритм, т.е. последовательность операций (фиг.1а), представляет основные этапы способа, в соответствии с настоящим изобретением, предназначенного для определения модели интерфейса «пилот-кабина».

Этот алгоритм выполняется компьютером, работающим во взаимодействии со средствами хранения данных/информации (базы данных, запоминающие устройства и т.д.).

Во время первого этапа Е1 разрабатывают модель интерфейса на основании двух типов информации: первого типа информации, связанной с технической системой и, в частности, характеризующей интерфейсные элементы кабины, и второго типа информации, связанной с человеком и, в частности, характеризующей знания, полученные пилотом по использованию интерфейсных элементов кабины и по процедурам выполнения полета, а также его поведение (опыт пилота самолета).

Взаимодействие пилот-кабина основано на интерфейсах динамического характера, включающих типы поведения пользователя и технической системы.

Этот этап основан на использовании информации как технического порядка, так и связанной с человеческим фактором, чтобы учитывать связь «пользователь - техническая система» во время разработки модели взаимодействия.

Информация двух вышеуказанных типов поступает в динамическую базу 10 (фиг.2) данных, имеющую структуру «пилот(человек) - техническая система», симметричную относительно оси взаимодействия, разделяющей часть 12 базы, связанную с человеческим аспектом, и часть 14 базы, связанную с техническим аспектом.

Следует отметить, что информация поступает в базу данных в структурированном виде, согласно идентичной конфигурации, которая определяется по каждому аспекту (человеческий и технический) уровнем входов-выходов, детализирующим все используемые входы и выходы, и уровнем обработки, детализирующим различные используемые подсистемы.

Модель разрабатывают начиная с идентификации входов-выходов со стороны человека и со стороны технической системы, прежде чем перейти к идентификации подсистем на уровне обработки информации.

Симметричная разработка модели взаимодействия «человек - техническая система» позволяет применять одинаковые методы ко всем имеющимся в наличии объектам. Поскольку техническая система, а также человек рассматриваются как комплексные системы, которые аналогично разбиваются на подсистемы (то есть если относить голосовые сигналы (принадлежащие к голосовой подсистеме) и графические сигналы (принадлежащие к графической подсистеме) к технической стороне), то следует рассматривать подсистемы, при помощи которых человек воспринимает, осознает и обрабатывает эти сигналы, как человеческий фактор, причем эти подсистемы относятся к слуховой и зрительной деятельности, к вниманию, к системе обработки символов, к краткосрочному и долгосрочному запоминанию и к принятию решения.

Информацию технического порядка (первый тип) и информацию, относящуюся к человеческому фактору (второй тип), конфигурируют идентично по одной и той же когнитивной многофакторной модели и используют известный унифицированный язык моделирования UML ( Unified Modeling Language в англо-саксонской терминологии) для формализации пары «пилот-кабина».

В когнитивной многофакторной модели определяют факторы, позволяющие описать процесс приобретения пилотом знаний, связанных с интерфейсными элементами кабины.

Такой многофакторный подход является наиболее предпочтительным для описания процессов, которые могут происходить одновременно.

Действительно, пилоту может понадобиться осуществить анализ визуальной информации (на входе со стороны человека и на выходе со стороны технической системы) одновременно со слуховой информацией, такой как звуковые сигналы.

Многофакторный подход является предпочтительным, если речь идет об отслеживании информации, получаемой в виде протяженной во времени последовательности и от разных независимых интерфейсных элементов.

Кроме того, такое отображение является также предпочтительным для установления иерархии и соответствующей классификации информации для облегчения дальнейшего анализа данных, характеризующих виды человеческой деятельности, используемые во время взаимодействия между пилотом и интерфейсными элементами.

В когнитивном моделировании, основанном на факторах и ресурсах, определяют факторы когнитивной модели в зависимости от их роли, от видов их ответственности, их ресурсов или функций и от поставленных целей.

Согласно этому многофакторному подходу, область применения, т.е. использование интерфейсных элементов кабины самолета, анализируют с точки зрения потребностей, которые необходимо удовлетворить в данном контексте.

Факторы определяются целью и позволяют учитывать потребность, связанную со схемой, являющейся частью убежденности пилота.

Например, пилот считает, что для изменения уровня полета ему необходимо определенное число условий, чтобы обеспечить нормальное осуществление маневра: видимость, состояние двигателей, атмосферные условия и т.д.

Следовательно, пилот нуждается в получении этой информации, чтобы иметь возможность выполнить поставленную задачу, и, следовательно, использует когнитивные ресурсы, которые ему предоставляют интерфейсные элементы (бортовые приборы).

Таким образом, он дополняет свое знание ситуации и может планировать и соответственно выполнять последующие действия.

Следовательно, все эти аспекты могут быть объектом оценки в экспериментальном плане на основании когнитивного многофакторного моделирования.

Эти факторы, которые способствуют когнитивным процессам, относятся к восприятию, пониманию и умственному отображению интерфейсных элементов кабины.

Таким образом, каждый фактор способствует достижению поставленных целей при помощи планов действий, которыми могут быть в авиации процедуры, определяющие использование бортовых приборов в инструкции по действиям экипажа, называемой FCOM ( Flight Crew Operating Manual ), которая предусматривает, в частности, следование указаниям различных контрольных карт, фазам посадки и взлета и т.д.

Со стороны пользователя (пилота) эти планы действий соответствуют умственному представлению, которое пилот составил ранее о записанных процедурах полета и которое меняется в зависимости от опыта.

Как было упомянуто со ссылками на фиг.2, когнитивная архитектура основана на двух основных уровнях, т.е. на уровне входов-выходов и уровне обработки информации.

Факторы классифицированы по уровню (входы-выходы или обработка) и по типу (канал входов-выходов или система обработки).

На одном и том же уровне встречаются несколько типов факторов: на уровне входов-выходов различают факторы зрительного типа, факторы слухового типа и т.д., на уровне обработки различают факторы внимания, мнемонические факторы, факторы принятия решения и т.д.

Как было указано выше, факторы характеризуются одной или несколькими ролями, видами ответственности и ресурсами.

В частности, роль фактора определяется по отношению к задаче или подзадаче, например, связанной с пилотированием транспортного средства, которую необходимо выполнить.

Виды ответственности фактора состоят в выполнении задачи или подзадачи, а используемые ресурсы обеспечивают реальное выполнение задачи или подзадачи.

Например, трехмерная сцена может быть представлена совокупностью факторов, каждый из которых несет отдельную характеристику сцены, такую как рельеф, структура. Структура соответствует сетке квадратов рельефа, которая может быть переменной или постоянной в зависимости от баз данных о местности, то есть можно иметь ячейки одинакового размера по всей сетке или ячейки разного размера по отображенным зонам рельефа, цветам и символике.

Так же как и факторы, ресурсы этих факторов классифицированы по уровню (входы-выходы или обработка) и по типу (каналы входов-выходов или система обработки).

Например, рельеф вышеупомянутой трехмерной визуальной сцены, который может быть представлен одним фактором, может иметь разные ресурсы, которые используют для обнаружения и анализа долин, рек, лесов, дорог, сооружений и т.д. визуальной сцены.

Определение факторов когнитивной многофакторной модели производят согласно этапам вышеуказанного способа, которые осуществляют итеративно по двум подходам, одним из которых является подход сверху вниз, называемый Top-Down , и другим - подход снизу вверх, называемый Bottom-Up .

Подход Top-Down основан на знаниях о пилотах и об их манере использовать интерфейсные элементы кабины и облегчает классификацию по факторам.

Подход Bottom-Up основан на интерфейсных элементах кабины и на видах визуальной индикации, которые группируют, чтобы более четко определять виды ответственности и факторы.

Top-Down

- 1. Идентификация задач

- 2. Идентификация подсистем, используемых для выполнения каждой задачи

- 3. Идентификация факторов внутри каждой подсистемы

------------------------------------------------------------

- Идентификация связей между факторами

- Идентификация ресурсов каждого фактора

- Идентификация связей между ресурсами и другими факторами

------------------------------------------------------------

- 3. Подбор по парам категорий и факторов

- 2. Группировка ресурсов по категориям

- 1. Идентификация ресурсов, связанных с элементами визуальной сцены

Bottom-Up

Моделирование кабины по этой когнитивной многофакторной модели позволяет определить элементы визуальной сцены на уровне мелкого дробления, который учитывает составные элементы каждого интерфейсного элемента (бортовые приборы), а именно информационные зоны этих интерфейсных элементов, а не каждый интерфейсный элемент в целом (уровень крупного дробления).

В рамках этой модели определенные таким образом ресурсы факторов применяют для обработки интерфейсных элементов.

Как правило, формализация пары пилот-кабина не заканчивается представлением отдельных объектов, а предполагает определение связей между этими объектами (фиг.2) путем организации объектов в виде таблиц 16, 18, содержащих ресурсы, факторы, факторы связи и планы как со стороны человека, так и со стороны технической системы. Необходимо отметить, что факторы связи позволяют определить прямые связи со специфическими ресурсами другого фактора. Без этих факторов связи можно связывать только факторы, но нельзя соединять ресурсы с факторами.

На фиг.2 моделирование технической системы показано слева в виде моделирования интерфейсного элемента PFD 20, которое подробнее будет описано ниже, тогда как справа на фиг.2 показана архитектура когнитивного моделирования человеческого аспекта 22 на двух основных уровнях, т.е. на уровне 24 входов-выходов и на уровне 26, где происходит обработка информации.

Каждый из этих двух уровней можно разбить на несколько подсистем, например на подсистемы зрения, слуха, языка и моторики для первого уровня и на подсистемы внимания, долгосрочного запоминания (LTM от Long Term Memory ), рабочего запоминания (WM от Work Memory ) и принятия решения ( Decision Making ) для второго уровня.

После разработки модели интерфейса на основании двух типов информации (информация, характеризующая интерфейсные элементы, и информация, характеризующая знания и поведение человека по использованию интерфейсных элементов) алгоритм на фиг.1 предусматривает этап Е2 сбора данных.

Во время этого этапа осуществляют сбор данных, которые характеризуют один или несколько видов человеческой деятельности (например, зрение, голос, движения рук и ног, кинестезия, физиологические проявления и реакции человеческого тела и т.д.), вовлеченных во взаимодействие пилота с интерфейсными элементами.

Например, в данный момент пилот, с одной стороны, смотрит на зону интерфейсного элемента кабины, при этом информация обнаруживается окулометрическим прибором и автоматически вносится в базу данных результатов, и, с другой стороны, одновременно производит действие на ручку и/или на другие устройства, при этом соответствующая информация собирается системой видеозаписи или другой системой и тоже вносится в память.

Следует отметить, что в зависимости от характера рассматриваемого вида человеческой деятельности используют соответствующий прибор сбора данных (окулометрический прибор, видеокамеру, электродерматограф и т.д.).

После получения этих данных на следующем этапе осуществляют их исследование (этап Е3), например, привлекая пилота или пилотов, которые были участниками опыта на этапе Е2.

Во время анализа полученных данных участник опыта изучает результаты и производит их интерпретацию, пытаясь определить, было ли действие, произведенное им в заданный момент опыта, правильным и было ли оно произведено в нужный момент.

В целом он детально исследует связь между получением информации/отсутствием информации и действием/отсутствием действия.

Во время интерпретации этих результатов участник опыта определяет, например, почему его взгляд проследовал по данному визуальному пути на одном или нескольких последовательных интерфейсных элементах и/или на одной или нескольких зонах одного интерфейсного элемента.

В зависимости от результатов этого анализа и от их интерпретации участником опыта и, в случае необходимости, другими экспертами в разных областях можно подтвердить рамки моделирования интерфейса пилот-кабина в том виде, как он был смоделирован, или скорректировать модель этого интерфейса.

Так, например, можно констатировать, что не хватает одного интерфейсного элемента, чтобы пилот мог выполнить свою задачу пилотирования, навигации или другую задачу, или не хватает навигационного интерфейсного элемента (дисплей и т.д.).

Можно также установить, что уровень дробления, использованный при разработке модели интерфейса, был слишком мелким и, следовательно, не может в достаточной степени отображать реальный контекст, или, наоборот, уровень дробления был слишком крупным и, следовательно, не позволяет получить достаточное количество необходимой информации, характеризующей этот контекст.

Интерпретация результатов опыта позволяет также выявить ошибки в работе интерфейсных элементов или в процедурах выполнения полета.

Это можно заметить после констатации значительной усталости и повышенного стрессового состояния участника опыта. Таким образом, можно усовершенствовать модель взаимодействия в зависимости от результатов этапа Е3.

Таким образом, используют итеративный метод, возвращаясь, как показано на фиг.1а, от этапа Е4 к этапу Е1, до получения требуемой модели взаимодействия, которая будет максимально отображать окружающую среду на борту самолета.

После определения модели интерфейса при помощи предлагаемого способа, в соответствии с поставленными целями, подтвержденную модель можно использовать для обучения будущих пилотов на полетном тренажере или для усовершенствования интерфейсов, смоделированных при помощи системы (расположение, последовательность сбора информации, пространственная избыточность и разнообразие и т.д.).

На фиг.1b показана система 30 определения модели, в соответствии с настоящим изобретением, характеризующая взаимодействие между пользователем 32 и интерфейсными элементами 34. Эта система содержит компьютер 36, имеющий входы-выходы для взаимодействия с пользователем 32 и интерфейсными элементами 34, а также с прибором 38 сбора данных (например, окулометрическим прибором), который передает в компьютер 36 собранные данные, предназначенные для анализа.

Алгоритм, то есть последовательность операций на фиг.3, показывает более детально этапы алгоритма на фиг.2 и более четко выделяет симметричную формализацию пары пилот-кабина.

Разработка модели интерфейса со стороны технической системы начинается с первого этапа Е10, на котором устанавливают связь между процедурами полета, определенными в инструкции FCOM, и интерфейсными элементами кабины (бортовыми приборами, такими как PFD, ND ), с которыми пилот (PF) или второй пилот (PNF) должен сверяться по каждому действию, описанному в соответствующей процедуре выполнения полета.

Среди этих процедур можно указать процедуру взлета ( take off ), процедуру полета на крейсерской скорости ( cruise ), процедуру подготовки к снижению ( descent preparation ), процедуру снижения ( descent ), процедуру грубого захода на посадку ( non-precision approach ) и процедуру посадки ( landing ).

Связывая соответствующие бортовые приборы с каждым действием, описанным в процедуре полета при наборе высоты ( climb ) инструкции по пилотированию Airbus A340, получают таблицу (фиг.4), где показано, что пилот должен проверить показания прибора, называемого FCU ( Flight Control Unit ), панели GS в режиме установки значения SET и прибора PFD главной панели IP в режиме CHECK, чтобы прочитать показания BARO ref. (барометрический контроль).

Точно так же во время набора высоты пилот должен проверить показания прибора PFD главной панели для получения информации о скорости и высоте, а также о положении самолета.

После установления связи между процедурами полета и соответствующими интерфейсными элементами кабины алгоритм на фиг.3 предусматривает следующий этап Е12, во время которого производят идентификацию информационных зон каждого интерфейсного элемента кабины, а также определение функций, выполняемых этими зонами.

Например, идентифицируют различные информационные зоны на главном дисплейном интерфейсном элементе PFD ( Primary Flight Display ), показанном на фиг.5.

Фиг.5 разделена на две части: в левой части показан интерфейсный элемент PFD, а в правой части идентифицированы информационные зоны этого интерфейсного элемента, а также их местоположение на этом элементе.

В правой части на фиг.5 показаны девять информационных зон, обозначенных цифрами 1-9, которые в дальнейшем будут обозначаться позициями Z1-Z9.

После идентификации зон каждого интерфейсного элемента на следующем этапе Е14 осуществляют определение ролей и видов ответственности (функции разных зон с учетом задач и подзадач, связанных с пилотированием самолета, в которых используется каждый интерфейсный элемент). На основании определения ролей и видов ответственности зон можно определить факторы когнитивной многофакторной модели.

Например, для интерфейсного элемента PFD различают три фундаментальные задачи, которыми являются пилотирование самолета (Т1), навигация (Т2) и соблюдение мер безопасности для удержания самолета в области полета (Т3).

Внутри каждой из этих задач можно определить более точные подзадачи:

указать значения параметров самолета (Т11);

указать значения или выбранные точки (от FMGS: Flight Management and Guidance System ) (Т12);

указать тенденции полета (Т13);

дать показания радионавигационных приборов и FMGS (Т21);

обеспечить легкое отслеживание показаний, выдаваемых прибором FMGS (Т22);

представить границы области полета (Т31);

включить сигнализацию (Т32).

После определения этих задач и подзадач осуществляют определение роли и видов ответственности разных зон каждого интерфейсного элемента и, например, PFD.

На фиг.6 в таблице идентифицированы и показаны различные функции или виды ответственности ранее идентифицированных зон.

На фиг.6 показана зона Z1, называемая FMA ( Flight Mode Annunciator ), на основании которой можно идентифицировать четыре подзоны, которые поставляют информацию о режиме пилотирования, например режиме автоматического пилотирования, и о радионавигации.

Зона Z2, называемая VA , поставляет информацию о скорости воздуха и может быть разбита на две подзоны.

Зона Z3, называемая AA , которая может быть разбита на две подзоны, поставляет информацию о поведении самолета (тангаж, положение самолета в воздухе, крен, управление, ручка ).

Зона Z4, называемая A/Vv , которая может быть разбита на три подзоны, служит высотомером и поставляет информацию о вертикальной скорости самолета.

Зона Z5, называемая ILS-GS (ILS от Instrument Landing System и GS от Glide Slope ), поставляет информацию о вертикальном положении системы посадки по приборам ILS по отношению к углу глиссады GS.

Зона Z6, называемая ILS-Loc , поставляет информацию о горизонтальном положении ILS по отношению к посадочному маяку ( localizer ).

Зона Z7, называемая M/I , поставляет информацию о числе Маха самолета и навигационную информацию.

Зона Z8, называемая Н/Т ( heading/track zone ), поставляет информацию о направлении и о курсе самолета.

Наконец, зона Z9, называемая Ref/Alt , поставляет информацию о высотомерной ориентировке.

Следует отметить, что название зоны заменяет определение роли фактора, которая будет определена в дальнейшем.

При помощи таблицы на фиг.6 и определения задач и подзадач во время следующего этапа Е16 можно определить когнитивные факторы, позволяющие построить когнитивную модель в соответствии с критериями, связанными с пилотированием и с навигацией.

Если вернуться к примеру моделирования интерфейсного элемента PFD, то определяют когнитивные факторы, которые позволяют описать когнитивные процессы использования различных зон интерфейсного элемента PFD (фиг.7).

Определяют факторы, связанные с анализом вертикального перемещения (высота, V/S), с анализом горизонтального перемещения (скорость и курс), с анализом положения самолета А/С, с отслеживанием команд FMGS, с ориентировкой/ILS, с FMA, с цветовым кодом и с сигнализацией.

Как указано в колонке «Виды ответственности Фактор», например, ролью фактора А1 является анализ вертикального перемещения самолета с использованием параметров высоты и вертикальной скорости, и для выполнения этой роли он отвечает за значения вертикальных параметров и за символы этих параметров.

Для выполнения этой роли фактор А1 опирается на четыре когнитивных ресурса, связанных с ответственностью за значения вертикальных параметров, с одной стороны, и на два когнитивных ресурса, связанных с ответственностью за символику, с другой стороны. Это позволяет фактору выполнять задачи, в основном связанные с пилотированием самолета (Т11 и Т12), которые находятся в зоне Z4 интерфейсного элемента PFD.

На следующем этапе Е18 осуществляют идентификацию входов и выходов системы по отношению к контексту использования, то есть идентифицируют информацию, поставляемую системой (интерфейсные элементы, такие как PFD) в данный момент, по отношению к данной ситуации использования, такой как взлет или набор высоты.

Во время следующего этапа Е20 алгоритма идентифицируют информацию системы (например, интерфейсного элемента PFD) на уровне обработки.

На фиг.8 детально показано получение Таблиц 16 и 18 на фиг.2, согласно структуре «план, фактор связи, фактор и ресурсы», как со стороны технической системы, так и со стороны человека, в рамках контроля высоты по отношению к прибору PFD.

Так, со стороны технической системы (Таблица 18) в рамках плана, относящегося к процедуре набора высоты ( CLIMB ) (фиг.4), определяют, что применяемыми ресурсами являются зоны Z4 и Z9 прибора PFD (фиг.7), фактором является фактор А1 прибора PFD, и фактором связи является фактор А3 бортовых приборов EFIS ( Electric Flight Instrument System ).

Таблица 16 (сторона человека) будет описана ниже.

Параллельно с действиями, которые были описаны во время этапов Е10-Е20, устанавливают модель взаимодействия со стороны человека, согласно этапам Е22-Е28, которые будут описаны ниже.

Информацию человеческого аспекта получают, например, в ходе бесед с экспертами по пилотированию или по процедурам полета. В ходе этих бесед, описывающих заданные ситуации (то есть использование приборов, которые выдают информацию в двух измерениях, например ND, PFD, по отношению к использованию прибора, который мог бы выдать эту же информацию непосредственно в трех измерениях), экспертов просят указать действия, которые они могли бы предпринять, предполагаемые проверки, информацию, в которой у них могла бы возникнуть необходимость, и т.д.

Во время первого этапа Е22 на уровне входов-выходов модели интерфейса со стороны человека предусмотрена идентификация особенностей взаимодействия с технической системой, например, каналов входов-выходов, которыми являются человеческое зрение, человеческий голос, слух, кинестезия и т.д.

Во время этого же этапа производят также идентификацию ресурсов, необходимых для осуществления соответствующего действия, то есть, например, восприятия (обозрения) информации о положении самолета, поставляемой соответствующей зоной интерфейсного элемента PFD, прослушивания звукового сигнала ( call-out ) «ЗЕМЛЯ», означающего, что самолет находится за пределами зоны безопасности по отношению к земле, то есть слишком низко, воздействия на ручку или увеличения газа.

Следует отметить, что факультативно можно также ограничиться уровнем входов-выходов в ограниченных ситуациях использования, таких как взлет. Речь идет о выборке по отношению к фазам полета, то есть по отношению к специфическим процедурам или разделам процедур. Можно углубиться в эти специфические фазы, исследуя их реализацию в тяжелых условиях: плохая погода, неисправность двигателя, сбои в получении информации, стресс или усталость пользователя.

Во время следующего этапа Е24 предусмотрена идентификация разнообразных взаимодействий на уровне входов-выходов когнитивной человеческой модели, то есть взаимодействий между различными каналами (зрение, слух ).

Например, идентифицируют взаимодействия между различными ранее идентифицированными особенностями на основании случаев, описанных в ходе бесед, таких как случай, в котором информацию о положении самолета воспринимают на рассматриваемом интерфейсном элементе, слышат звуковой тревожный сигнал и подают ручку на себя.

Во время следующего этапа Е26 определяют уровень обработки когнитивной модели со стороны человека.

Для этого, с одной стороны, предусматривают идентификацию действий, предпринимаемых пилотом, и/или принимаемых решений, которые оказываются особенно трудными или сложными в осуществлении по отношению к моделированию, произведенному со стороны технической системы, и, с другой стороны, выдвигают гипотезы о произведенной обработке этих чувствительных или сложных частей.

Например, предполагают, что пользователь примет правильное решение относительно визуальной или звуковой информации, которую ему предоставляют интерфейсные элементы технической системы в случае опасности столкновения.

Во время этого же этапа Е26 производят идентификацию обработки информации по различным ранее идентифицированным особенностям (каналы входов-выходов).

Для контроля за высотой полета самолета относительно прибора PFD сформирована таблица 16, характеризующая моделирование со стороны человека, соответствующая таблице 18 со стороны технической системы, на основании определенного плана, а именно использования PFD и пилотирования самолета.

В этой таблице определяют/идентифицируют используемые ресурсы на уровне входов-выходов и обработки.

Идентифицируют визуальные входы-выходы, а именно наблюдение за информацией о высоте полета, поставляемой прибором PFD, и соответствующую обработку, а именно рабочее запоминание (WM) и долгосрочное запоминание (LTM), а также принятие решения.

Соответствующим фактором является «PFD», указанные ресурсы связаны с фактором «Соблюдение полетного плана».

Таким образом, симметрично получают когнитивную многофакторную модель пилот-кабина.

Следующий этап Е28 позволяет дополнить когнитивную человеческую модель и подтвердить ее при помощи эксперта в данной области (специалист по когнитивной психологии, по физиологии, языку).

Во время следующего этапа Е30 производят подтверждение модели, характеризующей пару «человек - техническая система» (пилот-кабина), при помощи экспертов в разных задействованных областях, т.е. экспертов по процедуре выполнения полета, экспертных пилотов, разработчиков и экспертов по человеческим факторам (эксперты по зрению, слуху, языку, кинестезии ).

Следует отметить, что в факультативном варианте этапы Е28 и Е30 можно объединить.

После разработки модели переходят на ранее описанный этап Е2, во время которого используют методы анализа человеческих факторов для сбора данных, отражающих соответствующие виды человеческой деятельности, при помощи протокола проведения опыта.

Так, можно использовать несколько методов анализа, которые уже были указаны выше, для получения визуальных данных, характеризующих путь взгляда пилота во времени на одном или нескольких интерфейсных элементах кабины (в частности, для отслеживания положения взгляда пилота от одной зоны интерфейсного элемента к другой зоне другого интерфейсного элемента), при помощи окулометрического прибора и получения при помощи бортовой видеосистемы видеоданных, характеризующих движения пилота, который действует на ручку, и/или звуковых данных, записанных при помощи прибора аудиозаписи.

Благодаря рамкам или модели, определенной во время предыдущих этапов, можно связать, например, два типа данных о человеческой деятельности (окулометрические данные и данные, относящиеся к моторике человеческого тела) при условии наличия общего носителя (базы данных) для сбора двух типов информации технического аспекта и человеческого аспекта.

Необходимо отметить, что экспериментальные протоколы, на которых основаны различные оценки человеческих факторов, являются производными от ранее разработанной модели взаимодействия и также пополняют эту модель содержащимися в них результатами.

Кроме того, необходимо отметить, что использование общего носителя для взаимосвязи методов и оценок обеспечивает когерентность, однородность и возможность отслеживания полученных данных.

В частности, окулометрический прибор 38 (фиг.1b) позволяет регистрировать положение взгляда пилота на визуальной сцене, а также отслеживать различные визуальные элементы, охватываемые взглядом пилота, на интерфейсных элементах кабины, а также на их визуальной окружающей среде.

Окулометрический прибор содержит аналоговое устройство, т.е. окулометр, который регистрирует движения глаза пилота. Окулометр содержит три элемента: камеру, регистрирующую движения глаза, источник инфракрасного излучения, излучающий инфракрасный луч в глаз, и камеру, регистрирующую визуальную сцену, наблюдаемую пилотом.

Таким образом, видеоданные, полученные при помощи камеры, записывающей движения глаза, и видеоданные, полученные при помощи камеры, записывающей визуальную сцену, наблюдаемую пилотом, накладываются друг на друга, и положение взгляда пилота отображается в виде указателя (например, кружка или крестика), который перемещается по визуальной сцене.

Использование только одного окулометра хотя и является достаточным для наружной визуальной среды, не дает достаточной точности, если необходимо регистрировать особенно мелкие детали на пути взгляда пилота, например при чтении текстов или считывании информации на специфических зонах экранов.

Поэтому окулометр соединяют с генератором магнитного поля для обеспечения максимальной точности.

Генератор магнитного поля используют в качестве системы координат в трехмерном пространстве для улавливания положения головы пилота относительно координат различных поверхностей или плоскостей, образующих окружающую его реальную среду. Рассматриваемые поверхности и плоскости соответствуют экранам и панелям управления кабины, являющимся рассматриваемыми областями, которые можно разбить на указанные выше зоны и подзоны для каждого интерфейсного элемента.

Для анализа движений головы пилота используют генератор магнитного поля, а также приемное устройство, закрепленное на голове пилота, и эти элементы в комбинации с вышеуказанным аналоговым устройством (окулометром) позволяют добиться максимальной точности отображения положения взгляда пользователя на визуальной сцене.

В частности, приемное устройство, закрепленное на голове пилота, позволяет получить точное положение головы на трехмерной модели.

Расстояние между этим приемным устройством на голове и камерой, записывающей сцену, а также расстояние между приемным устройством на голове и глазами пилота вводится затем в трехмерную модель. Первое из вышеуказанных расстояний необходимо для осуществления настройки камеры относительно сцены, и второе расстояние необходимо для настройки аналогового устройства (окулометра).

Следует отметить, что адаптация вышеуказанного окулометрического прибора к кабине для обеспечения максимальной точности в совокупности с комбинацией данных о положении головы пилота и данных о положении его взгляда учитывает геометрическое исследование кабины и исследование положения тела пилота.

Производя геометрическое исследование кабины, было обнаружено, что для установки генератора магнитного поля на кронштейне в кабине необходимо убедиться, что расстояние между генератором и всей металлической поверхностью является достаточно большим, чтобы свести к минимуму магнитные помехи, которые могут влиять на окулометрический прибор.

Кроме того, во время конфигурации различных элементов, образующих окулометрический прибор внутри кабины, было установлено, что расстояние между генератором магнитного поля и приемным устройством положения головы пилота должно быть строго меньше расстояния между приемным устройством положения головы пилота и всей металлической поверхностью для сведения к минимуму магнитных помех.

Следует отметить, что исследование положения тела пилота позволяет определить границы объема его движения и, следовательно, расстояния между приемным устройством на голове и источником магнитного поля.

При помощи указанного окулометрического прибора можно очень точно регистрировать движения (поведение) глаз, такие как фиксирование, сканирование и отслеживание, которые характеризуют то, каким образом пилот смотрит на специфические элементы визуальной сцены (бортовые инструменты и визуальная внешняя среда). Составные элементы окулометрического прибора, а именно аналоговое устройство, генератор магнитного поля и шлем с приемным устройством для установки на голове, поставляются компанией Senso-Motric Instruments GmbH, Вартенштрассе 21, Д-14513 Тельтов, Германия.

Как было указано выше, во время этапа Е3, который следует за этапом сбора данных, эти данные анализируются с участием одного или нескольких участников опыта (пилот) для проверки когерентности и надежности результатов опыта.

Согласно примеру, взятому из области вождения автомобиля (настоящее изобретение можно применять и в других областях кроме авиации), используя окулометр в учебном автомобиле автошколы, инструктор и ученик после завершения курса обучения, просмотрев видеоданные, записанные при помощи окулометра, могут лучше понять, почему ученик не посмотрел в зеркало заднего вида перед поворотом.

Все данные, полученные во время этапа Е2, проанализированные и интерпретированные во время этапа Е3, после этого подтверждаются на первом коллективном внутриведомственном уровне экспертами в данной области (например, экспертами пилотирования в области авиации) и затем подтверждаются на коллективном межведомственном уровне экспертами в разных областях (экспертами по человеческому фактору, инженерами, пилотами), чтобы эти данные могли подтвердить все задействованные участники.

Таким образом, данные опыта уточняются и подтверждаются на трех уровнях: индивидуальный уровень, внутриведомственный уровень и межведомственный уровень.

Это подтверждение экспертами позволяет вернуться к определению рамок, определенных на первых этапах (разработка когнитивной многофакторной модели), и скорректировать и усовершенствовать модель в зависимости от результатов опытов и от их интерпретации экспертами.

После подтверждения модели можно определить возможные усовершенствования интерфейсных элементов пилот-кабина, процедур использования этих элементов (например, процедуры выполнения полета) или использовать эту модель для обучения пилота по использованию интерфейсных элементов кабины.

Например, способ, в соответствии с настоящим изобретением, позволяет определить, в какой момент должна быть использована дисплейная система, установленная по высоте над головой пилота ( Head Up Display ), чтобы это использование было оптимальным. Способ, в соответствии с настоящим изобретением, позволяет также определить, действительно ли такая дисплейная система используется пилотом на данном типе транспортного средства.

В другом примере способ, в соответствии с настоящим изобретением, позволяет установить, что пилот в уме строит визуальное трехмерное отображение положения его транспортного средства в пространстве, причем только на основе информации в двух измерениях, поступающей от бортовых приборов.

В этом случае способ, в соответствии с настоящим изобретением, может служить основой для разработки нового прибора, выдающего визуальное трехмерное отображение положения транспортного средства в пространстве.

Способ представляет особенный интерес для определения действительно полезной информации, которая поставляется интерфейсными элементами приборной доски.

Благодаря, в частности, сбору и анализу данных, например окулометрических данных, способ позволяет отделить информацию, необходимую для пользователя, от информации, которая не является в достаточной степени полезной или которая является избыточной.