Gran Turismo от Sony-одна из крупнейших гоночных игр всех времен, проданная тиражом более 80 миллионов копий по всему миру. Но ни один из этих миллионов игроков не является самым быстрым. В новом прорыве команда во главе с Sony AI – исследовательским подразделением искусственного интеллекта (AI) компании – разработала полностью искусственного игрока, работающего на машинном обучении, способного не только изучать и осваивать игру, но и превосходить лучших игроков в мире.
Агент ИИ, называемый Gran Turismo Sophy, использовал глубокое обучение подкреплению для практики игры (Gran Turismo Sport edition), контролируя до 20 автомобилей одновременно, чтобы ускорить сбор данных и усовершенствовать свое собственное улучшение. Всего через несколько часов обучения управлению физикой игры – освоению того, как применять скорость и торможение, чтобы лучше оставаться на трассе – ИИ был быстрее, чем 95 процентов игроков-людей в эталонном наборе данных.
Чтобы не превзойти эти надоедливые 5 процентов, GT Sophy удвоился.
«Он тренировался еще девять или более дней – накопив более 45 000 часов вождения – сбривая десятые доли секунды, пока его время прохождения круга не перестало улучшаться», — объясняет команда в новой исследовательской работе, описывающей проект.
«Благодаря этой тренировочной процедуре GT Sophy достигла сверхчеловеческих результатов на всех трех трассах … со средним временем круга, примерно равным единственному лучшему записанному человеческому времени круга».
Это далеко не первый раз, когда мы видели, как ИИ учится превосходить человеческих игроков в играх. На протяжении многих лет завоевания накапливались, и различные агенты выясняли, как лучше всего простые смертные во всех видах игр.
Atari, шахматы, Starcraft, покери Go, возможно, были разработаны человеческими руками, но человеческие руки больше не являются лучшими в их игре.
Конечно, все эти игры либо ориентированы на стратегию, либо относительно упрощены с точки зрения их геймплея (в случае игр Atari). Gran Turismo – хваленый своими поклонниками не только как видеоигра, но и как реалистичный симулятор вождения – это другой вид зверя.
«Многие потенциальные приложения искусственного интеллекта включают принятие решений в реальном времени в физических системах при взаимодействии с людьми»,-пишут исследователи в своем исследовании.
«Автомобильные гонки представляют собой экстремальный пример этих условий; водители должны выполнять сложные тактические маневры, чтобы пройти или заблокировать противников, управляя своими автомобилями на пределе тяги».
Однако для тестирования GT Sophy задача заключалась не только в освоении тактики и тяги игры. ИИ также должен был преуспеть в гоночном этикете – научиться превосходить противников в рамках принципов спортивного мастерства, уважать линии вождения других автомобилей и избегать столкновений по вине.
В конечном счете, ничего из этого не оказалось проблемой. В серии гоночных событий, организованных в 2021 году, ИИ сразился с некоторыми из лучших игроков Gran Turismo в мире, включая трехкратного чемпиона Такуму Миядзоно.
В июльском конкурсе ИИ превзошел игроков-людей в испытаниях на время, но не победил в гонках лицом к лицу. После некоторых оптимизаций исследователей агент узнал, как улучшить свою производительность дальше, и ловко выиграл матч-реванш в октябре.
Несмотря на все достижения, изобретатели GT Sophy признают, что есть много областей, где ИИ еще может улучшиться, особенно с точки зрения принятия стратегических решений.
Тем не менее, в одной из самых продвинутых гоночных игр, когда-либо выпущенных, это уже лучший водитель, чем лучшие из нас.
Что это значит для будущего, остается неизвестным, но очень возможно, что однажды такие системы могут быть использованы для управления реальными транспортными средствами с лучшей управляемостью, чем опытные водители-люди. В виртуальном мире он уже есть.
«Имитация автомобильных гонок-это область, которая требует непрерывного контроля в реальном времени в среде с очень реалистичной, сложной физикой», — заключают исследователи.
«Успех GT Sophy в этой среде впервые показывает, что можно обучать агентов ИИ, которые лучше, чем лучшие гонщики-люди, в различных типах автомобилей и треков».
Источник: https://www.sciencealert.com/ai-breakthrough-means-the-world-s-best-gran-turismo-driver-is-not-human
Результаты опубликованы в Nature.
