ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ УЧАТ УПРАВЛЯТЬ САМОЛЕТАМИ. МОЖНО ЛИ ДОВЕРЯТЬ ЭТОЙ ТЕХНОЛОГИИ?

В решающей схватке на третий день Фалько, агент АИ, созданный Heron Systems, компанией-разработчиком программного обеспечения, базирующейся в Вирджинии, соревновался с агентом АИ, разработанным Lockheed Martin, крупнейшим оборонным подрядчиком страны. Совпадение вызвало очевидные сравнения Давида и Голиафа—хотя этот Давид прошел примерно такое же количество компьютерных итераций, как пилот, который тренировался весь день, каждый день, в течение тридцати одного года. После нескольких напряженных раундов Фалько Герона вышел победителем. Но было заключительное соревнование: опытный пилот F-16 должен был сразиться с Фалько.

Пилот, одетый в оливково-зеленый летный костюм, сидел в игровом кресле с высокой спинкой, его лицо было скрыто шлемом виртуальной реальности. Его опознали только по позывному «Бэнгер». (Его личность была скрыта для “оперативной безопасности”.) Он заранее тренировался с командой в A. P. L., изучая, как использовать элементы управления для управления своим самолетом и гарнитуру V. R. для отслеживания вектора атаки противника.

На разделенном экране зрители могли видеть то, что видел Бэнгер из кабины пилота. На другом экране отображалось визуальное представление боя, так как самолеты—желтые для Бангера, зеленые для Фалько—двигались под лучшим углом. Примерно через минуту каждая команда агрессивно развернула свой самолет, и Бэнгер уклонился от АИ, снизившись до десяти тысяч футов. Фалько пришел в себя и сделал серию хороших выстрелов. У Бандера осталось четыре жизни.

В конце концов, Бангеру не удалось пережить ни одной стычки. Он сказал: “Я думаю, что за последние несколько лет технология доказала, что она способна думать быстрее, чем люди, и быстрее реагировать в точной нетронутой среде”. Бэнгер также предположил, что искусственный интеллект может выполнять тактические маневры, которых пилоты были обучены избегать, например, летать слишком близко к вражеским самолетам и двигаться со скоростью, которая будет обременять человеческое тело. “Мне может быть неудобно ставить свой самолет в такое положение, когда я могу столкнуться с чем-то другим”, — сказал он. «ИИ воспользовалось бы этим”.

Мок, казалось, был доволен результатом. “Вы могли бы посмотреть на это и сказать: ” О’кей, у АИ пять, у нашего человека ноль», — сказал он зрителям. “Из мира пилотов-истребителей мы верим в то, что работает, и мы увидели, что в этой ограниченной области, в этом конкретном сценарии у нас есть АИ, который работает”. (Видео испытаний на YouTube с тех пор набрало полмиллиона просмотров.)

Бретт Дарси, управляющий Heron, рассказал мне, что компания использовала Falco для полетов на беспилотных летательных аппаратах, выполнив семьдесят четыре полета с нулевыми авариями. Но до сих пор неясно, как технология будет реагировать на бесконечные возможности реальных условий. Человеческий разум работает медленнее, чем компьютер, но он обладает когнитивной гибкостью, позволяющей адаптироваться к невообразимым обстоятельствам; искусственный интеллект пока этого не делает. Анна Скиннер, психолог по человеческим факторам и еще один научный консультант ace программа сказала мне: “Люди способны опираться на свой опыт и предпринимать разумные действия перед лицом неопределенности. И, особенно в боевой ситуации, всегда будет присутствовать неопределенность”.

Вначале мая я посетил Лабораторию производительности операторов в Университете Айовы, где участники программы ace собрались для демонстрации. O. P. L. — это творение Тома Шнелла, уроженца Швейцарии, профессора промышленной и системной инженерии. В свободное время Шнелл летает по кругу и катается на самолете высшего пилотажа над кукурузными полями Айовы, но изначально его опыт был связан с наземным транспортом. В конце девяностых компания по производству роскошных автомобилей-Шнелл не скажет, какая именно—попросила его разработать способ измерения того, насколько людям нравилось водить ее автомобили. Шнелл прикрепил датчики к лицам водителей, чтобы обнаружить движение небольших мышц вокруг рта и глаз, которые могут указывать на улыбку или хмурость, а электрокардиограмма позволяет контролировать их сердце. “Я сказал им, что если я собираюсь выполнить эту работу, им придется прислать мне веселую машину”, — сказал Шнелл о своем раннем клиенте. “И они это сделали”.

Шнелл вскоре обнаружил, что каждый датчик оснащен собственной запатентованной системой сбора данных, что делало практически невозможным анализ всей информации сразу. Он создал общую структуру, которую назвал Набором инструментов для когнитивной оценки, и начал собирать физиологические данные людей, которые управляли всеми видами машин. “Это могут быть инженеры-инструкторы, или пилоты вертолетов, или люди, управляющие автомобилями”, — сказал он. Датчики лица предоставляли один набор точек данных. Так же поступило и устройство, которое анализировало гальваническую реакцию кожи—насколько сильно субъект потел. Другой инструмент изучал уровни окисления крови, которые служили показателем умственной нагрузки.

В 2004 году Шнелл убедил своего заведующего кафедрой в Университете Айовы купить первый самолет O. P. L., одномоторный Beechcraft Bonanza. В течение нескольких лет он приобрел реактивный самолет, и коммерческие авиакомпании и военно-воздушные силы наняли его для проведения исследований своих пилотов. “Мы проделали большую работу по пространственной дезориентации”, — сказал Шнелл. Это включало в себя такие вещи, как то, что пилоты закрывали глаза во время воздушных маневров, а затем пытались лететь прямо, как только они снова открывали их. К тому времени, когда darpa опубликовало свой запрос предложений для ace программа, в 2019 году лаборатория Шнелла имела более чем десятилетний опыт регистрации физиологических реакций пилотов.

Убедить пилотов передать управление может оказаться еще более труднодостижимым, чем разработать ИИ, способный вести воздушный бой. “Это, вероятно, главная задача, которую мы пытаемся решить”, — сказал мне Райан Хефрон, нынешний менеджер программы ACE. Хефрон, тридцативосьмилетний подполковник со степенью доктора компьютерных наук, пришел в darpa в 2021 году из Школы летчиков-испытателей ВВС, где он был инструктором. В качестве примера он упомянул “Auto-gcas”, автоматизированную систему предотвращения столкновений с землей, которая захватывает управление, если самолету угрожает неминуемая опасность крушения. Во время тестирования автоматическиеgca имел склонность внезапно останавливаться без причины—то, что Хефрон называл “неприятными взлетами”. С тех пор система спасла по меньшей мере одиннадцать жизней, но летчики-испытатели в течение многих лет относились к ней настороженно из-за этих ранних неудач.

“В армии есть поговорка”, — сказал мне Питер Хэнкок, профессор психологии Университета Центральной Флориды, который изучает влияние доверия на внедрение технологий. “Доверие приобретается чайными ложками и теряется в ведрах”. Это не просто проблема войны. В ходе последних опросов, проведенных Американской автомобильной ассоциацией, около восьмидесяти процентов респондентов заявили, что их не устраивает идея автономных транспортных средств. “Большинство водителей говорят, что они хотят, чтобы существующие системы работали лучше, прежде чем они смогут доверять полностью самоуправляемой системе”,-сказал мне Грег Брэннон, директор по автомобильной инженерии в AAA. “Процент не сильно изменился, несмотря на множество достижений в области технологий, и это довольно шокирует”.

Для оценки доверия психологи обычно проводят опросы. “Никто никогда раньше не предлагал объективную меру доверия”, — сказал Скиннер. darpa наняло SoarTech, исследовательскую и опытно-конструкторскую фирму A. I., базирующуюся в Анн-Арборе, для создания “модели доверия”, целью которой является проверка доверия, о котором сообщают сами, с помощью достоверных данных из набора инструментов когнитивной оценки O. P. L. “Я думаю, что именно так вы делаете хорошую науку”, — сказал мне Шнелл. “Вы берете лучшие строительные блоки, которые у вас есть, и складываете их вместе, чтобы ответить на очень сложные вопросы. darpa на самом деле подошел к тарелке и сказал, что мы хотим знать: «Вы доверяете авионике?’ ”

Один из ангаров O. P. L. в муниципальном аэропорту Айова-Сити был заполнен подержанными самолетами, которые Шнелл купил и переоборудовал: два L-29 Delfin, меньший кузен L-39, выкрашенный в глянцевый желтый цвет «Ястребиный глаз»; неповоротливый советский вертолет, купленный примерно за стоимость Cadillac Escalade, модернизированный полноцветной системой ночного видения, которую Шнелл построил сам. В дальнем конце ангара находилась имитация кабины реактивного самолета 737, размером с квартиру-студию.

Пилот Национальной гвардии ВВС, одолженный О. П. Л. на день, опустился в другой симулятор, прямоугольную металлическую оболочку, которую Шнелл назвал “ванной». Шнелл подключил его к проводам электрокардиограммы, чтобы собрать некоторые исходные данные. До утреннего брифинга пилот знал только, что он будет участвовать в darpa исследовательский проект. Даже сейчас, когда он настраивал свою гарнитуру VR и возился с элементами управления, которые копировали F-16, все, что ему сказали, это то, что искусственный интеллект будет управлять самолетом, пока он будет играть в рудиментарную видеоигру, транслируемую на его панели дисплея. (Отдельное усилие ACE заключается в разработке более сложной версии.)

Игра имитировала задачи по управлению боем, которые пилоты, как ожидается, будут выполнять в будущем; чтобы победить, восемь синих самолетов пилота должны были сбить восемь красных вражеских самолетов. Глазной трекер внутри его шлема измерял, когда и как долго он поднимал глаза, чтобы посмотреть, что делает АИ, что можно было считать выражением недоверия. Он не знал, что некоторые из имитируемых стычек были рассчитаны на его победу, а другие-на то, чтобы поставить его и его самолет под угрозу. Но, если он чувствовал, что А. И. Собирался сделать что-то опасное, у него была возможность прекратить помолвку, “отчалив”. Это тоже продемонстрировало бы отсутствие доверия.

В конечном счете, идея состоит в том, чтобы предоставить пилотам больше информации о следующем шаге ИИ, чтобы добиться соответствующего уровня доверия. Гленн Тейлор, старший научный сотрудник SoarTech, сказал мне: “Мы создаем визуальные и другие интерфейсы в системе, чтобы пилот знал, что делает А. И., и предоставлял ему или ей достаточно информации, с достаточным временем, чтобы знать, доверять ей или нет”. Исследователи назвали эти отношения “откалиброванным” доверием. Фил Чу, один из лучших научные консультанты программы сказали мне: “Если мы сможем показать пилотам, что ИИ собирается делать в ближайшие четыре секунды, это очень долгий срок”.

Доверие также будет иметь решающее значение, потому что, когда самолеты летают со скоростью до пятисот миль в час, алгоритмы не всегда смогут держать пилотов в курсе событий. Хэнкок, профессор Калифорнийского университета, называет несоответствие во времени реакции “временным диссонансом». В качестве аналогии он указал на подушки безопасности, которые разворачиваются в течение миллисекунд, ниже порога человеческого восприятия. “Как только вы ввели меня в эту петлю, — сказал он, — вы разрушили все назначение подушки безопасности, которая должна надуваться почти мгновенно”.

В “ванне” в О. П. Л. компьютер передал то, что пилот видел в своих очках. Когда он повернул голову вправо, в поле зрения появилось крыло; когда он посмотрел вниз, то увидел сельскохозяйственные угодья. Экран радара в передней части кабины отслеживал противника, который в первой стычке быстро получил преимущество, подойдя к пилоту сзади и приготовившись к выстрелу. “Греби», — крикнул пилот, прекращая перестрелку. Компьютер был сброшен. Один из аспирантов Шнелла, который помогал в разработке эксперимента, отсчитал от трех, а затем позвонил “Взломать”, чтобы начать следующий конкурс.

Сорок минут спустя, когда пилот покинул симулятор, его встретила Кэтрин Вудрафф, исследователь, работающий с SoarTech. Вудрафф спросил его об инциденте, в котором он прекратил встречу, хотя ему не угрожала непосредственная опасность. “У меня было два решения, которые я мог принять”, — сказал он. “Чтобы позволить ему прокатиться и посмотреть, что произойдет, или отплыть”. Через мгновение он добавил: “Я понял, что бандит начал поворачиваться ко мне. И поэтому я поплыл прочь.”

По большей части, сказал мне Вудрафф, пилоты в исследовании доверяли ИИ, когда он вел себя надлежащим образом, и брали на себя управление, когда это было не так. Было несколько исключений: пилот, который недавно катапультировался со своего самолета, с глубоким подозрением относился к этой технологии. Тридцатилетний пилот, за которым я наблюдал, думал, что автономность “была классной”, но он улетел, даже когда у его самолета был потенциал для достижения хорошего угла атаки. “Я хотел в основном выяснить свои границы с АИ”, — сказал он Вудраффу. “То, что слишком консервативно, и то, из-за чего меня убьют. А затем найдите эту счастливую среду».

Аспирант Шнелла, которого нельзя назвать по имени, потому что он находится на действительной военной службе, подошел послушать разбор полетов. “Вы были бы идеальным примером того, на кого нам нужно было бы повлиять, потому что—и я вовсе не хочу показаться грубым—вы полностью нарушили конструкцию эксперимента”, — сказал он пилоту. “Вы решили не позволять АИ выполнять ту работу, для которой он был создан, хотя на самом деле он отлично справлялся в том смысле, что вас не убили. Если мы хотим сделать вас боевым менеджером через тридцать лет, нам нужно будет подтолкнуть это поведение в противоположном направлении».

В2017 году Институт будущего жизни, правозащитная группа, сосредоточенная на “сохранении преимуществ искусственного интеллекта”, которая считает Илона Маска членом своего консультативного совета, выпустила “Бойню роботов”. Короткометражный фильм представляет мир, в котором вооруженные квадрокоптеры размером со смартфон нацелены на политических диссидентов, студентов колледжей и членов Конгресса. “Ядерная энергия устарела”,-говорит персонаж, похожий на Стива Джобса, восторженной аудитории на презентации продукта Slaughterbot. “Уничтожьте всего своего врага, практически без риска”.

В конце видео, которое было просмотрено более трех миллионов раз на YouTube, ученый-компьютерщик из Беркли Стюарт Рассел говорит в камеру: “Разрешение машинам убивать людей будет разрушительным для нашей безопасности и свободы”. Рассел входит в группу видных ученых и технических руководителей, включая Маска, Стивена Хокинга и Ноама Хомского, которые подписали письмо, призывающее к запрету на “наступательное автономное оружие, не поддающееся значимому контролю человека».

И все же искусственный интеллект уже ведет мировую гонку вооружений. В 2020 году глобальные расходы на военное ИИ, по оценкам, превысят шесть миллиардов долларов и, как ожидается, почти удвоятся к 2025 году. Россия разрабатывает беспилотные транспортные средства, в том числе роботизированные танки и системы наблюдения. В прошлом году сообщалось, что Ливия запустила автономный беспилотный летательный аппарат, который, как оказалось, был оснащен “обработкой изображений в реальном времени” для идентификации и уничтожения вражеских истребителей. Роберт Уорк, бывший заместитель министра обороны, сказал мне, что разведка предполагает, что Китай превратил списанные истребители в автономные беспилотные летательные аппараты-самоубийцы, которые могут действовать сообща, как рой. “Это становится совершенно новым видом оружия, от которого чрезвычайно трудно защититься”, — сказал он.

Соединенные Штаты тоже тестируют использование роящихся беспилотных летательных аппаратов. В ходе эксперимента в апреле прошлого года рой дронов атаковал военно-морское судно у берегов Калифорнии. В октябре программа Skyborg, проект ВВС по созданию автономных самолетов для обслуживания пилотов F-35, провела испытания двух беспилотных летательных аппаратов в реальном полете. Дроны Skyborg смогут обнаруживать наземные и воздушные угрозы, определять подходящие цели для “уничтожения” и нацеливать оружие для оптимального удара. Фактическое решение о “применении летальности”, как называют это ВВС, останется в руках пилота-человека. Но в 2020 году главный научный сотрудник ВВС Ричард Джозеф предупредил, что “у нас есть еще несколько вопросов, на которые нужно ответить. Насколько нам нужна автономия для системы, способной обеспечить смертоносную силу, и особенно для системы, которая движется со скоростью машины?”

В статье, опубликованной в апреле прошлого года, Роберт Уорк написал, что системы с поддержкой ИИ“, вероятно, помогут смягчить главную причину непреднамеренных боевых действий: неверную идентификацию целей». Американские военные неоднократно обещали, что усовершенствованные технологии улучшат целеуказание противнику. Результаты были неоднозначными. В 2003 году, во время войны в Ираке, раннее автономное оружие, ракета Patriot, непреднамеренно сбила британский истребитель, убив обоих пилотов, и самолет военно-морского флота, убив и этого пилота. В последующем докладе Пентагона был сделан вывод о том, что операторы-люди предоставили ракетной системе слишком большую автономию. В недавнем обзоре тринадцати сотен секретных сообщений о жертвах среди гражданского населения на Ближнем Востоке “Таймс”охарактеризовала американскую воздушную войну как «резкий контраст с представлением американского правительства о войне, которую ведут всевидящие беспилотники и высокоточные бомбы».

Петтиджон из Центра новой американской безопасности сказал мне, что в настоящее время военные разрабатывают автономные системы, помогающие идентифицировать цели. “И это одна из вещей, с которыми АИ все еще борется», — сказала она. “Это все еще очень трудно сделать—различать в воздухе, когда вы находитесь на высоте десяти, двадцати или тридцати тысяч футов в небе”. В 2018 году исследователи из M. I. T. и Стэнфорда обнаружили, что три популярные системы распознавания лиц A. I. часто не могли определить пол женщин с темной кожей. Два года спустя в отчете Исследовательской службы Конгресса отмечалось, что “это может иметь значительные последствия для приложений ИИ в военном контексте, особенно если такие предубеждения остаются незамеченными и включаются в системы со смертельным исходом”.

Остановите роботов-убийц, коалиция из более чем ста восьмидесяти неправительственных организаций, включая Amnesty International, Human Rights Watch и Всемирный совет Церквей, призвала страны принять правовой договор, регулирующий применение смертоносного автономного оружия. США не входят в число почти семидесяти стран, которые до сих пор подписали соглашение. “Речь идет не только о запрете конкретного оружия, как мы запрещаем наземные мины или химическое оружие”,-сказала Бонни Доэрти, преподаватель права прав человека в Гарвардской школе права и старший научный сотрудник отдела вооружений в Human Rights Watch. “Это попытка предотвратить развитие технологии, которая может изменить способ ведения войн действительно ужасным образом”.

Позиция D. O. D. по смертоносному автономному оружию, установленная в 2012 году, требует, чтобы лицо, принимающее решения, оставалось в курсе в “соответствующей” степени. Дэвид Очманек, старший военный аналитик корпорации Rand, чей бывший офис в Пентагоне разработал директиву 2012 года, сказал мне: “На самом деле она не запрещает разработку автономного оружия”. Скорее, он добавил: “Это вводит в действие ряд процессов обзора и гарантий. Командир должен иметь возможность вмешаться, включить автономию и отключить ее по мере необходимости”.

Очманек рассматривает разработку автономного оружия как вопрос сдерживания, особенно против крупномасштабных актов агрессии, таких как вторжение России на территорию НАТО или вторжение Китая на Тайвань. “Может ли автономия в различных проявлениях позволить нам с уверенностью полагать, что мы сможем победить вторжение такого типа?” — сказал он. “Ответ на этот вопрос в значительной степени утвердительный”.

Прошлой весной в Ниагарском водопаде, когда L-39 пролетал над озером Онтарио, ученые и инженеры программы ACE собрались на свое очередное ежеквартальное совещание. На встрече с группами, конкурирующими за разработку алгоритма воздушного боя, Крис Джентиле из EpiSci подчеркнул, что программа не создавала смертоносное автономное оружие: “То, что мы делаем, — это создание инструментов, позволяющих пилотам более эффективно выполнять решения”. Но, поскольку искусственный интеллект увеличивает скорость принятия решений, в конечном счете может возникнуть вопрос, зачем вообще держать человека в кабине. “Министерство обороны скажет вам, что у них не будет полностью автономных систем”, — сказал мне Петтиджон. “Но мне трудно представить, когда все основано на том, чтобы принимать решения быстрее, чем это делает ваш противник, как люди на самом деле могут быть в таком состоянии”.

Вконце сентября я наблюдал еще один эксперимент с доверием в O. P. L. Большую часть дня опытный пилот сидел в кабине одного из L-29, который Шнелл превратил в симулятор полета. Надев гарнитуру V. R., он выполнял роль руководителя боем, когда А. И. участвовал в серии схваток. Как и молодого пилота, за которым я наблюдал прошлой весной, его попросили оценить его доверие к АИ, пока записывались его биометрические и полетные данные. Но на этот раз, вместо того, чтобы использовать заранее написанные сценарии, он дрался с тремя А. И. агенты, которые пережили ликвидацию: те, которые были разработаны Heron Systems, PhysicsAI и EpiSci.

Ближе к концу дня параметры эксперимента были изменены. Пилоту разрешили взлететь, управлять самолетом вручную, а затем, когда он почувствовал, что это безопасно, передать управление обратно ИИ.По словам Лорен Райнерман-Джонс, старшего научного сотрудника SoarTech, исследователи ожидали, что, если пилот проиграет первую схватку, потребуется еще несколько, чтобы восстановить доверие. Но, если он выиграет первый бой, его доверие к АИ перенесется на последующие сценарии. Затем, если бы он проиграл финальную схватку, доверие снизилось бы, но в меньшей степени—в кофейных чашках, а не в ведрах.

Рядом с самолетом стояли четыре компьютера. Один записал то, что пилот видел в своей гарнитуре. Другой изобразил его физиологические реакции, которые были переведены в различные типы обработки доверия, каждый из которых был представлен линией разного цвета. Райнерман-Джонс объяснила, что коричневая линия, отображаемая над остальными, объединяет данные в грубую визуализацию модели доверия, которую она и ее коллеги разрабатывали. Вудрафф сидела рядом с компьютером на коленях и диктофоном в руке. Каждую минуту или около того она просила пилота оценить его доверие к АИ. Почти всегда он говорил, что это было высоко.

Но во время своего опроса он выразил некоторое разочарование экспериментом. В одной схватке его самолет и самолет противника гонялись друг за другом по кругу—на экране это выглядело так, как будто вода циркулирует по стоку. Пилот сказал Вудраффу, что, хотя он и позволил АИ продолжать борьбу, “Я знаю, что в ближайшее время он не застрелит этого парня. В реальной жизни, если вы продолжите так ходить, у вас либо закончится бензин, либо другой плохой парень подойдет сзади и убьет вас”. В реальном бою он бы пошел на больший риск, чтобы перейти в более выгодный угол атаки. “Я имею в виду, А. И. должен быть намного умнее меня», — сказал он. “Так что, если я смотрю туда, думая, что мог бы получить здесь какое-то преимущество, а А. И.-нет, я должен начать спрашивать, почему”.

На данный момент критика пилота отражает незрелость агентов АИ, которым потребуется гораздо больше подготовки, если они хотят стать достаточно изощренными, чтобы сразиться с реальным противником. Но это также напоминает то, что Джастин Мок сказал на испытаниях AlphaDogfight годом ранее: пилоты истребителей доверяют тому, что работает.

С тех пор команды разрабатывали и тестировали агентов ИИ, которые могли одновременно сражаться с двумя противниками, что было гораздо более сложной задачей. Они также начинали разрабатывать инструменты, которые позволили бы им продвинуться к живому полету. Первым шагом было интегрировать динамику полета L-39 в алгоритмы воздушного боя и протестировать их на беспилотных летательных аппаратах. В ближайшие несколько месяцев программа поместит агентов АИ в авиационный симулятор, чтобы пилоты могли испытать силы g и посмотреть, как это влияет на доверие к АИ. “В сообществе летных испытаний есть поговорка: все модели неправильные, некоторые модели полезны»,-сказал Райан Хефрон, менеджер программы ACE. “Поэтому мы должны найти полезные части”.