Sony AIが、AIレースゲーマー『Gran Turismo Sophy』（グランツーリスモ・ソフィー、GT Sophy）が人間のグランツーリスモトップランカーとの対戦において勝利するまでにドライビングが上達したと発表しました。
GT SophyはSony AIが開発した最先端の深層強化学習アルゴリズムと学習シナリオを用い、PlayStation 4用レーシングシミュレーター『グランツーリスモ Sport』の環境でマシンコントロール、レーシングテクニック、そしてレースの競技におけるエチケットといった生身のドライバーが練習によって身につけるスキルを学習しています。
Sony AIの北野宏明CEOはGT Sophyが「AIの大きな発展の形であり、単に人間のプレイヤーより優れたシステムを作るのでなく、プレイヤーのテクニックや創造性を加速させて次のレベルへと引き上げられる刺激的な対戦相手になることを目的としている」と述べています。
またSony AI COOのMichael Spranger氏は、AIにグランツーリスモSportで競争力を発揮させるには、物理的な限界でマシンをコントロールし、ブレーキと加速のポイントを最適化し、コース上で最後の1/10秒を絞り出す正しいラインを見つけることを学ぶ必要がありました。そして、コース上を走る他車の動きや高速走行時に互いに影響し合う空力的な作用などを考慮しつつ他者を追い抜く走り方ができるようにする必要があったとしています。
Spny AI / Gran Turismo Sophy
そして、こうした人間でもなかなかできない処理をAIにさせるために、深層強化学習が用いられたとのこと。
GT Sophyは車の走行速度や加速度、コース内外の境界線や周囲を走る他車との相対的な位置関係、コース上のマシンの進行状況といったパラメーターをシステムから受け取り、ステアリング確度やアクセルおよびブレーキ踏力といった操作を学習してゆきました。そして、上手く走行できているときにはそれを肯定するシグナル、つまり報酬(リワード)をAIに与え、逆に拙い走りを見せたときにはネガティブなシグナルを与えるようにしました。
このようにして鍛えあげたAIは、2021年3月からは元グランツーリスモトッププレイヤーを含む人間のドライバーが操作する車両との混走でテストレースを始め、7月と10月には世界トップのグランツーリスモ使いたちを相手に互角といって差し支えないレースを展開するに至りました。
特に、10月の対戦では3レースすべてでGT Sophyが1～2位を独占したほか、7月の時には人間に敗れた総合得点でも勝利を収めています。
ただし、同じアルゴリズムであるにもかかわらず、すべてのGT Sophyが好調だったわけではありません。あるAIは前走車の追い抜きのタイミングを計り損ねてアンダーステアを出し、そのままカーブを曲がりきれずにウォールに激突する不様な形でリタイアしていました。
つまり、AIは最速で走れるよう、あらかじめプログラムされていたわけではなかったことも合わせて証明されたといえるでしょう。
ソニーグループの吉田憲一郎CEOは、この技術開発は「ゲームプレイヤーに新しい経験を提供しようとするゲームデベロッパーのもとにAIをもたらすということ」だと述べています。
GT Sophyは『グランツーリスモSport』上で開発されたAIですが、約3週間後に発売となる『グランツーリスモ7』にもアップデートで追加搭載予定とのこと。
これまで、我々一般のプレイヤーが上達するには、とにかくオンラインレースへの出走を繰り返して、他のドライバーの間合いの取り方や詰め方、コースのライン取りなどを盗みつつ自分なりに速い走法を探っていく必要がありましたが、もしかしたら今後はAIの走りを逆に人間のドライバーが学ぶような時代に変わっていくのかもしれません。
（Source：Gran Turismo Sophy、Nature。Engadget日本版より転載）