Исследователи Южного методистского университета (SMU) разрабатывают инновационный подход, сочетающий биометрию с методами машинного обучения, чтобы изменить будущее летной подготовки. Цель состоит в том, чтобы измерить физические реакции пилота, чтобы обеспечить в режиме реального времени более объективное и автоматизированное определение характеристик, чтобы сделать летную подготовку более персонализированной, эффективной и действенной. Программы летной подготовки исторически основывались на субъективных наблюдениях и послеполетном анализе инструктора для определения мастерства и мастерства маневра.
Совместно с производителем тренажеров и поставщиком услуг обучения CAE исследователи из Центра виртуализации AT&T SMU приступили к четвертому году реализации проекта по разработке и тестированию методов измерения ситуационной осведомленности и восприятия когнитивной нагрузки с использованием биометрии и машинного обучения. Цель состоит в том, чтобы запечатлеть, как пилоты реагируют на различные сценарии в авиасимуляторе.
Машинное обучение — это изучение алгоритмов, которые могут автоматически улучшаться благодаря опыту и сбору данных; это рассматривается как часть искусственного интеллекта. Проект SMU измеряет множественные физические реакции, такие как характер зрительного взгляда, размер зрачка и частоту сердечных сокращений, чтобы определить уровень вовлеченности пилота, рабочую нагрузку, ситуационную осведомленность, стресс или усталость. Примечательно, что некоторые из ранних результатов автоматических биометрических тестов близко совпадают с оценками высококвалифицированных оценщиков.
«Наша теория заключается в том, что биометрические данные во время симуляции приведут к гораздо более объективным и точным измерениям, чем задавание пользователям нескольких вопросов после симуляции, чтобы измерить их опыт», — сказал Суку Наир, директор Центра виртуализации SMU.
Эрик Ларсон — главный исследователь исследования, адъюнкт-профессор компьютерных наук SMU и признанный эксперт в области машинного обучения с более чем 53 патентами и опубликованными статьями. «Ускорение обучения с помощью биометрического зондирования — сложная, недоказанная гипотеза, — сказал он. — Это исследование направлено на то, чтобы понять, как можно использовать зондирование для понимания уровня мастерства учащегося в такой сложной задаче, как управление самолетом. Мы надеемся продвинуть область исследований, став первой группой, которая покажет, может ли персонализированное автоматизированное обучение показать эффективность в реальном учебном сценарии».
Значительная часть первоначального интереса к проекту была связана с поддержкой приоритета Министерства обороны по автоматическому измерению критически важных когнитивных конструкций более высокого порядка, таких как ситуационная осведомленность, для ускорения обучения сложным навыкам и поддержки многодоменных боевых действий. В 2019 году SMU и CAE (тогда L3Harris Technologies) впервые продемонстрировали, что машинное обучение на основе биометрических данных может давать точные результаты производительности в режиме реального времени. Во время этих демонстраций для определения уровня ситуационной осведомленности и умственной нагрузки использовались экспериментальные методы сканирования глаз с использованием тепловых карт.
Компания CAE привлекла SMU своим опытом в области биометрического распознавания и машинного обучения. «Наше исследование даст первое измерение ситуационной осведомленности в режиме реального времени, критически важную когнитивную конструкцию высокого порядка для динамичных областей с высокими ставками, таких как военная авиация», — сказал Сандро Скильцо, главный специалист по человеческим системам в CAE. «Например, наши классификаторы машинного обучения могут выявлять нарушение восприятия, что позволяет исправить плохое визуальное сканирование. Нарушение понимания также можно смягчить, если учащиеся останутся в зоне максимальной адаптивности за счет адаптации сложности обучения в реальном времени. Таким образом, готовность к миссии может быть достигнута более эффективно и быстро».
На сегодняшний день большая часть усилий по сбору данных состояла из эксперимента с повторными измерениями с использованием 40 испытуемых с разным опытом и уровнем опыта, летающих на летном симуляторе смешанной реальности в контролируемой среде. Симулятор использует виртуальную реальность (VR) для воспроизведения военного истребителя и включает в себя визуализацию, проекционные дисплеи и высокоточное отслеживание рук.
Оборудование для сбора данных включало в себя гарнитуру VR со встроенным айтрекером и носимое на запястье устройство для сбора других биометрических параметров. Система слежения за глазами собирала образцы взгляда, реакцию зрачка и моргание. Наручное устройство собирало данные о частоте сердечных сокращений, кожно-гальванических реакциях, электродермальной активности (EDA) и ускорении запястья. Затем эти точки биометрических данных сопоставляются с помощью компьютерного анализа для определения уровней когнитивной нагрузки или умственных усилий (рабочей нагрузки), стимуляции или стресса.
Собрав эти биометрические данные, можно многому научиться. Например, «плохая» картина взгляда в зависимости от фазы полета может свидетельствовать о высокой нагрузке. «Правильный» рисунок взгляда показал бы более высокий уровень внимания и производительности. Точно так же меньшее количество морганий или более короткие моргания могут быть связаны с задачами, требующими повышенного внимания. Частоту сердечных сокращений и вариабельность сердечного ритма можно использовать для отслеживания усилий при выполнении умственной задачи. В дополнение к рассмотрению отдельного биометрического параметра в исследовании SMU был проведен сравнительный анализ, чтобы определить, существует ли более высокий уровень корреляции между различными параметрами.
Ключом к этому исследованию является способность измерять рабочую нагрузку пилота и наличие избыточных мощностей для выполнения дополнительных задач. Используя биометрию и алгоритмы машинного обучения, исследователи могли определить, был ли пилотный объект «загружен» или «разгружен». Кроме того, этот проект создает автоматизированные средства для объективной оценки успеваемости студента и «уровня легкости», необходимого для выполнения маневра.
За пределами лаборатории команда SMU/CAE провела время на базе ВВС Эдвардс, чтобы продемонстрировать осуществимость и полезность системы физиологических датчиков в качестве источника данных летных испытаний для объективной оценки рабочей нагрузки пилота. Это испытание включало два летно-испытательных вылета на реактивном самолете Boeing C-17A, маневры с заправкой топливом в воздухе и посадки с боковым смещением. Всего было зафиксировано 33 маневра с хорошими результатами. Исследование считалось исследовательским, и можно было выдвинуть гипотезу о том, что «реальный полет» будет охватывать более высокую рабочую нагрузку, чем данные симулятора.
Использование биометрии и машинного обучения в среде летной подготовки может в конечном итоге изменить способ обучения пилотов. Физические реакции учащегося могут быть более надежным показателем мастерства и мастерства маневра, чем субъективное мнение инструктора или оценщика. Хотя исследование SMU/CAE подтверждает использование биометрии и машинного обучения на военных самолетах, эти процессы и методы могут быть полезны в гражданской авиации. Например, использование паттернов взгляда может помочь пилотам совершенствоваться в таких областях, как активный мониторинг траектории полета, осведомленность о режимах полета и эффективность контроля пилотов.
Источник: https://www.ainonline.com/aviation-news/business-aviation/2022-03-01/smu-and-cae-apply-biometrics-flight-training
