」
日本電信電話株式会社と西日本電信電話株式会社、熊本県は13日、今年の11月に熊本で開催されます「２０１９女子ハンドボール世界選手権大会」における新たな観戦体験の提供を目的として、熊本県で開催される女子ハンドボールイベントにおいて、「試合中の全選手の動きをセンシング（取得）し空間を再構成する」という新たな映像技術の実証実験を行うことを発表しました。
「カメラの映像」から、試合に参加している全選手をモーションキャプチャー！ その技術とは
今回NTT、NTT西日本、そして熊本県が共同で行う実証実験は、上の動画にあります「２０１９女子ハンドボール世界選手権大会」に向けて行われるものです。リリースでは
試合中の全選手の動きをセンシング（取得）し空間を再構成することで、あたかも選手になりきったようにプレーの様子を間近で体験できる
としておりまして、記事内の比重が「生成した仮想空間でVR体験！」と、VR体験に重きが置かれているのですが……、
ちょっと待って！ 上の文章でサラっと書かれちゃってるこの「ダイナミックフィールド３次元動きセンシング技術」って、
- ハンドボールの広いコートに散らばっている全選手の動きをモーションキャプチャーする
- ハンドボールをプレイしている選手には「マーカー」などといった認識用のセンサー・素子は一切付けられない。つまり「光学式」といったキャプチャーではなく、あくまで「画像解析」によるセンシング
- 設置されるカメラは「8台」のみ。このカメラ群で全コートエリアをカバー
って、めちゃくちゃ凄くないですか！？
実際に行われる解析技術を図解したのがこちら。
「ダイナミックフィールド３次元動きセンシング技術」では、広い実空間を複数台のカメラで撮影し、空間中にある複数人物の3Dモーション情報を高精度に取得。その情報をNTT独自のディープラーニング技術を活用した「骨格推定」と「３次元動き解析」により、広い空間内で被写体の交差がある等の複雑なシーンであっても、複数人の3Dモーション動作を、より精度高く解析することができるそう。
この技術により、従来のモーションキャプチャー技術が抱えている「キャプチャー対象物とキャプチャー可能な空間の限界」を超えて、広い空間の中で複数人が動き回る場面でも、各人物のトラッキングデータ取得を可能にしています。
解析のポイントは2つ（上の図解を参照のこと）。
- ポイント①「骨格推定」：人物のシルエットも同時に推論する独自の深層学習により、遮蔽により人体の一部が撮影されていない場合であっても映像から人物の骨格（関節位置）を、より精度高く推定することを実現。
- ポイント②「３次元動き解析」：各カメラ映像から得られる２次元の関節の動き情報から、各カメラのレンズ歪を補正しつつ統合して、３次元的により正確な動き情報を解析。
この「3次元動き解析」というネーミングが如何にもNTT！って感じですが、実際にやっていることはマジでヤバイです！ とにかく、以下の写真をじっくりと御覧ください！
上が実際の写真で、下がキャプチャー後に生成された3DCGの画像です。ええええ！ このCGをたった８台のカメラから解析して作り上げてるんですか！？ ヤバッ！！
コート内選手になりきった位置で、躍動感ある他の選手の動きを３次元３６０度映像で体験できます。
（同社プレスリリースより引用）
ってシレっと書いてあるんですが、いやいやいや、凄いのはそれだけじゃないでしょ！ って思わず突っ込んでしまいました。とは言え、確かにこう表現するのが一番わかり易いだろうし……。
実際にどういった形でVR体験が提供されるか、という点は後々決まるものと思われますが、これってつまりはですね、
- 複数人のモーションキャプチャーをすべてAI＋ディープラーニング画像解析で行ってしまうことにより、様々なスポーツの試合映像から、「全選手の動きをすべて記録した3D空間のデータ」を生成可能になる
- 3D空間の生成時に使用する3Dモデルをフォトグラメトリなどを駆使してリアルな映像に近づければ、「スポーツの一試合をそのまま3D空間内にアーカイブ化し、その空間を任意の位置座標から、いつでも追体験できる」…というようなところまで進化が可能になる
わけですよ！！（鼻息荒く） これはまた……、NTTさんってすごいものを研究してるんですね……！
また併せて、わずか２台カメラの映像からモーションキャプチャーを行い、それをリアルタイムで「くまもん」の3Dアバターに変換、ARで表示するという「なりきりＡＲ！（くまモン バージョン）」も実施されるそうです。
ココらへんは昨今各社で研究が進んでいる分野で、すでにスマホのカメラだけでも全身のボーンデータを取得できるレベルまで到達していたりしますが、熊本県で行われるイベントだけに「くまもん」が登場！ ってあたりがとってもいいですね！ 以下開催概要！
＜実施期間＞
２０１９年５月中旬～２０１９年１２月（予定）
※熊本県内における女子ハンドボールイベント実施日のみ＜実施対象＞
イオンモール熊本（１Ｆイベントスクエア）、熊本県内の体育施設等
なお本取組みは、熊本県、熊本市、ＮＴＴ西日本が進める「スマート光タウン熊本」プロジェクトの一環として実施されます。詳しくは公式サイト（http://www.hikarikumamoto.jp/）をどうぞ。
NTT西日本では今回の実験の検証で得られる知見を活かし、動きの取得の精度向上・自動化を進め、ICTを用いた次世代のスポーツ観戦やエンターテインメント鑑賞に関する取り組みをより一層加速させていく、としています。
いよいよディープラーニングによる画像解析において、日本の企業ベースでも大きな動きが起こりつつありますね！ 5Gに向けて各携帯キャリアがグイグイと歩みを進める中、NTTさんとしてはどんな技術を追いかけていくのか……。少なくともこの技術、かなりヤバイです。この取組の今後に注目していきましょう！