ゲームエンジン「Unity」を用いた専用アプリで、骨格運動と筋活動の3次元データを可視化
東京大学は3月3日、複数のカメラで撮影したビデオ映像から人体のポーズをコンピューター上に3次元再構成し、運動解析、筋活動解析の後、ただちにデータベース化して可視化するまでを完全自動化するサービスを開発したと発表した。スポーツ、介護、医療など幅広い分野での運動データの利用が可能になるという。アバターやロボットの全身運動のデータ取得にも使えるとしている。
同研究は、東京大学大学院工学系研究科 人工物工学研究センター 社会連携講座「ヒューマンモーション・データサイエンス」の中村仁彦上席研究員、東京大学大学院情報理工学系研究科 池上洋介助教、東京大学大学院工学系研究科 人工物工学研究センター HERNANDEZ Cesar特任研究員、東京大学大学院情報理工学系研究科 櫻井彬光氏ら研究グループによるもの。人の体のデジタルツイン（コンピューター上に再現された「双子」）を作成しデータベース化するためのビデオ映像入力から筋活動出力までの工程を、完全自動化することに成功した。
カメラ4台を用いたモーションキャプチャーの様子
研究グループはこれまでに、モーションキャプチャーで得られた骨格の運動から関節に働く力や筋活動を推定する技術、骨格モデルを対象者の体型に合わせる骨格スケーリング、複数カメラで撮影した映像から骨格運動を3次元に再構成し筋活動解析を行う技術などを開発してきた。また、モーションキャプチャーにおいては、体にマーカーを装着することなく行える効率的な方法も編み出している。
今回の研究では、映像入力から筋活動の出力までを支える一連のアルゴリズムを統合し、全体の計算をパッケージ化してAmazon Web Services（AWS）上に実装することに成功した。また、計算を完了しデータベースに記録されたデータは直後から検索が可能になり、可視化システムによりグラフ表示も行えるようになる。さらに、ゲームエンジン「Unity」を用いた専用アプリで運動を3D表示することも可能となった。
グラフ化された運動解析データ
以前は、計算段階で人手による例外処理を必要とするなど、生産性に限界があったため、特定のアスリートに限った運動解析しか行えなかったが、この全自動化されたシステムを用いれば、多くの人の運動解析が可能となる。研究グループは、「青少年スポーツ選手、競技スポーツの選手からスポーツ愛好家、リハビリや健康ために運動を行う高齢者まで、広い世代の多くの方々に運動解析や筋活動解析を使ってもらえるようになった」と話す。今後は「チーム競技のデジタイズとチームプレイの解析、計算の効率化・高速化、スポーツ・データサイエンティストの養成」などの研究に取り組み、東大発スタートアップでの商用実施を目指すとのことだ。