Мы представляем новое исследование масштабируемого обучаемого агента Multimorld (SIMA), который может следовать инструкциям на естественном языке для выполнения задач в различных условиях видеоигры
Видеоигры являются ключевым испытательным полигоном для систем искусственного интеллекта (ИИ). Как и реальный мир, игры представляют собой богатую среду обучения с гибкими настройками в режиме реального времени и постоянно меняющимися целями.
Начиная с нашей ранней работы с играми Atari и заканчивая нашей системой AlphaStar, позволяющей играть в StarCraft II на уровне человека-гроссмейстера, Google DeepMind имеет долгую историю в области искусственного интеллекта и игр.
Сегодня мы объявляем о новой вехе — смещении нашего фокуса с отдельных игр на общего, обучаемого агента искусственного интеллекта.
В новом техническом отчете мы представляем SIMA, сокращение от Scalable Instructable Multimorld Agent, универсальный агент искусственного интеллекта для виртуальных сред 3D. Мы сотрудничали с разработчиками игр, чтобы обучить SIMA различным видеоиграм. Это исследование знаменует собой первый случай, когда агент продемонстрировал, что он может понимать широкий спектр игровых миров и следовать инструкциям на естественном языке для выполнения задач в них, как это может делать человек.
Эта работа не направлена на достижение высоких результатов в игре. Научиться играть даже в одну видеоигру — технический подвиг для системы искусственного интеллекта, но умение следовать инструкциям в различных игровых настройках может открыть более полезные агенты искусственного интеллекта для любой среды. Наше исследование показывает, как мы можем преобразовать возможности продвинутых моделей искусственного интеллекта в полезные действия в реальном мире с помощью языкового интерфейса. Мы надеемся, что SIMA и другие исследователи агентов смогут использовать видеоигры в качестве песочниц, чтобы лучше понять, как системы искусственного интеллекта могут стать более полезными.
Чтобы использовать SIMA во многих средах, мы наладили ряд партнерских отношений с разработчиками игр для наших исследований. Мы сотрудничали с восемью игровыми студиями, чтобы обучить и протестировать SIMA в девяти различных видеоиграх, таких как No Man’s Sky от Hello Games и Teardown от Tuxedo Labs. Каждая игра в портфолио SIMA открывает новый интерактивный мир, включающий в себя ряд навыков для изучения, от простой навигации и использования меню до добычи ресурсов, управления космическим кораблем или создания шлема.
Мы также использовали четыре исследовательские среды, включая новую среду, созданную нами с помощью Unity под названием The Construction Lab, где агентам нужно создавать скульптуры из строительных блоков, которые проверяют их манипулирование объектами и интуитивное понимание физического мира.
Изучая различные игровые миры, SIMA показывает, как язык связан с игровым поведением. Наш первый подход заключался в записи пар игроков-людей по всем играм в нашем портфолио, при этом один игрок наблюдал за другим и инструктировал его. Мы также попросили игроков играть свободно, а затем пересматривать то, что они делали, и записывать инструкции, которые привели бы к их игровым действиям.
SIMA включает в себя предварительно обученные модели видения и основную модель, которая включает память и выводит действия клавиатуры и мыши.
SIMA: универсальный агент искусственного интеллекта
SIMA — это агент искусственного интеллекта, который может воспринимать и понимать различные среды, а затем предпринимать действия для достижения поставленной цели. Он включает модель, разработанную для точного отображения языка изображения, и видеомодель, которая предсказывает, что произойдет дальше на экране. Мы доработали эти модели на основе обучающих данных, специфичных для настроек 3D в портфолио SIMA.
Нашему агенту искусственного интеллекта не нужен доступ к исходному коду игры или специальным API. Для этого требуется всего два входных данных: изображения на экране и простые инструкции на естественном языке, предоставляемые пользователем. SIMA использует клавиатуру и мышь для управления центральным персонажем игр и выполнения этих инструкций. Этот простой интерфейс используют люди, что означает, что SIMA потенциально может взаимодействовать с любой виртуальной средой.
Текущая версия SIMA оценивается по 600 базовым навыкам, охватывающим навигацию (например, «повернуть налево»), взаимодействие с объектами («подняться по лестнице») и использование меню («открыть карту»). Мы обучили SIMA выполнять простые задачи, которые можно выполнить примерно за 10 секунд.
Мы хотим, чтобы наши будущие агенты решали задачи, требующие высокоуровневого стратегического планирования и выполнения множества подзадач, таких как “Поиск ресурсов и строительство лагеря”. Это важная цель для искусственного интеллекта в целом, потому что, хотя большие языковые модели привели к появлению мощных систем, которые могут собирать знания о мире и разрабатывать планы, в настоящее время у них нет возможности предпринимать действия от нашего имени.
Обобщение в играх и многое другое
Мы показываем, что агент, обученный многим играм, был лучше, чем агент, научившийся играть только в одну. По нашим оценкам, агенты SIMA, прошедшие обучение по набору из девяти 3D-игр из нашего портфолио, значительно превзошли всех специализированных агентов, прошедших обучение исключительно по каждой отдельной игре. Более того, агент, прошедший обучение во всех играх, кроме одной, в среднем показал почти такие же результаты в этой невидимой игре, как и агент, специально обученный ей. Важно отметить, что эта способность функционировать в совершенно новых средах подчеркивает способность SIMA к обобщениям, выходящим за рамки ее обучения. Это многообещающий первоначальный результат, однако для того, чтобы SIMA могла работать на человеческом уровне как в видимых, так и в невидимых играх, требуются дополнительные исследования.
Наши результаты также показывают, что производительность SIMA зависит от языка. В контрольном тестировании, где агент не проходил языковой подготовки или инструкций, он ведет себя соответствующим образом, но бесцельно. Например, агент может собирать ресурсы, что является обычным поведением, вместо того, чтобы идти туда, куда ему было приказано.
Мы оценили способность СИМЫ следовать инструкциям для выполнения почти 1500 уникальных игровых заданий, частично используя человеческие оценки. В качестве базового сравнения мы используем производительность специализированных агентов SIMA (обученных и оцененных для выполнения инструкций в рамках единой среды). Мы сравниваем эту производительность с тремя типами универсальных агентов SIMA, каждый из которых обучен в нескольких средах.
Продвижение исследований агентов искусственного интеллекта
Результаты SIMA демонстрируют потенциал для разработки новой волны универсальных агентов искусственного интеллекта, управляемых языком. Это исследование находится на ранней стадии, и мы с нетерпением ожидаем дальнейшего развития SIMA в большем количестве обучающих сред и внедрения более функциональных моделей.
По мере того, как мы знакомим SIMA с большим количеством обучающих миров, мы ожидаем, что она станет более обобщаемой и универсальной. С помощью более продвинутых моделей мы надеемся улучшить понимание SIMA и способность действовать в соответствии с инструкциями языка более высокого уровня для достижения более сложных целей.
В конечном счете, наше исследование направлено на создание более общих систем и агентов искусственного интеллекта, которые могут понимать и безопасно выполнять широкий спектр задач таким образом, чтобы это было полезно людям онлайн и в реальном мире.
