細やかな表情の変化を様々な方向から再現した3Dアバター
情報通信研究機構（NICT）は3月14日、たった1台のカメラの画像から自分のデジタルツインとなる3Dアバターをモデリングし、細かい表情や動作も三次元的にリアルに表現できる技術「REXR」（レクサー。Realistic and Expressive 3D avatar）を開発したと発表した。メタバースなどでのコミュニケーションで、アバター同士の深い相互理解が実現する可能性がある。同研究は、NICT ユニバーサルコミュニケーション研究所 先進的リアリティ技術総合研究室のMichal Joachimczak氏、劉珠允氏、安藤広志氏によるもの。
メタバースやMR（複合現実）で自分の分身となる3Dアバターは、現状ではあらかじめ用意されたCGキャラクターを使用することが多く、微妙な表情や動作の表現は難しい。自分自身のリアルな3Dモデルを作ろうとすれば、何台ものカメラやセンサーを使って体中をキャプチャーするといった大がかりなシステムが必要となる。NICTは、複数のAIモジュールを組み合わせることで、それをたった1台のカメラで可能にした。
まずは、カメラの前で1回転した画像からリアルな全身モデルを構築する。モデルができれば、後はカメラの前で動くことで、その表情や姿勢が推定されてモデルに反映される。時間ごとに変化する動作や表情が、3Dアバターに三次元的に再現され、どの方向からでも見られるようになる。
コミュニケーションの最中にわずかに顔に生じる表情の変化「微表情」（micro-expressions）や動作を忠実に再現できるため、アバターを通しての「深い信頼関係の構築やシビアなビジネス交渉」もリモートで可能になるとNICTは話す。今後は3Dアバターの三次元形状の正確さや動きの滑らかさといった精度の向上と、リアルタイム対応を可能にする技術開発を進めてゆくとのことだ。この技術の活用、実証実験、普及の際の倫理的、法的、社会的課題については、超臨場感コミュニケーション産学官フォーラム（URCF）のXR遠隔コミュニケーションWGなどと連携して取り組むとしている。