(C) ACM SIGGRAPH 出典: SIGGRAPH Asia 2018
2018年12月4日から7日までの日程で、東京・有楽町にあります東京国際フォーラムにて開催されました、「シーグラフアジア2018」（SIGGRAPH Asia 2018）。最終プログラム、「REAL TIME LIVE！」、只今本編の発表をオリジナルの映像と共にご紹介しています。本日はこちら！
An Architecture for Immersive Interactions with an Emotional Character AI in VR（株式会社スクウェア・エニックス）
こちらはスクウェア・エニックスさんによる発表。「VR空間における、感情豊かなAIキャラクターを通じた没入型インタラクション技術」というタイトルです。
VRの空間へ入る際、体験者が期待するのは「いかに自然な体験を感じられるか」。その面において映像に関する技術や、物理演算に関する表現については大きな進化を続けていますが、「NPC」（non-playable character）とのコミュニケーションを行うインターフェイスやインタラクションについては、大きな進化に至っていないのが現状です。
今回のデモンストレーションでは、様々な感情表現を持ちAIを搭載したキャラクターが、操作者の「会話」に反応して動作すると同時に感情表現や、その感情に基づいた行動パターンの変化をも実現させているのが大きな特徴です。
(C) ACM SIGGRAPH 出典: SIGGRAPH Asia 2018
インターフェイスになっている言語は日本語。上記動画のデモでは操作者の言葉に可愛いフォルムのNPCに反応し、言葉通りの行動を取っているのがよくわかります。また、「この行動をとるとNPCにとって不利なことが発生する」のをNPC自身がAIで判断し、感情表現と共に操作者の発した命令を「拒否」する、といった処理もなされているんですね。
このように、人工知能を活用したキャラクターを配し、その上で会話というインターフェイスに「感情」という概念を持ち込む、というのが非常に目新しく映りました。ハートを振りまくNPCちゃんが可愛かったー！
More Real, Less Time: Mimic's Quest in Real-Time Facial Animation（Mimic Productions / ドイツ）
お次は、もう上の動画を見て頂くのが一番早いですね！ ドイツの「Mimic Productions」による最新のフェイストラッキング・デモンストレーションです！
顔のパーツはもちろんですが、目の動きとか、各パーツの動作に伴う肌の動きとか、なんかもうすべてがリアル！ もちろん、この映像はリアルタイムにレンダリングされています。
(C) ACM SIGGRAPH 出典: SIGGRAPH Asia 2018
上の写真が実際にトラッキングをしている様子です。右の男性の顔と、左に映っているCGの顔が同じ表情をしていますねー。
写真だとちょっとわかりにくいのですが、右の男性の目の前にはスマートフォンが設置されていまして（iPhone）、スマホのインカメラでフェイストラッキングを実現させています。
とにかく！ 非常にＣＧの映像の「キメ」が細かく、表情やらなにやらすべてが「自然」に見えるのが衝撃的でした。もうここまできちゃうと、リアルタイムレンダリングによるフェイス・トラッキングが「不気味の谷現象」を突破するのも、そう遠くない未来に実現しちゃいそうですね！
Pinscreen Avatars in your Pocket: Mobile paGAN engine and Personalized Gaming（Pinscreen / アメリカ）
お次はアメリカの「Pinscreen」によるデモンストレーション。上の動画のサムネイルを見るだけでも超ファンキー！
Pinscreenさんの発表は「モバイル端末によるフォトリアルな3Dアバター生成＋フェイストラッキング」技術。その名も「paGAN（photoreal avatar GAN）」。
「GAN」というのは「敵対的生成ネットワーク」の略で、ディープラーニングの世界で様々な研究・活用が行われている分野です。GANでは機械学習のための用意されたデータから特徴を学んでいくことで、実際には存在しないデータを生成したり、別のデータが持っている特徴に沿う形に変換システムしたりすることが可能になります。
機械学習にもいろいろありまして、その中でもGANは「これが正解ですよー」というデータを用意しない「教師なし学習」の手法の一つとして、近年特に注目されているんですね。このGANをiPhone上で動作させたのがこちらの「Pinscreen」というわけ。
すでにアプリがリリースされていまして、実際にこの「paGAN」技術を使って3Dアバターを生成し、そのアバターで遊ぶことができます。なんと、アバター生成に必要なのは「たった1枚の顔写真」だけ！
実際にアプリを使ってみるとわかりますが、アバター生成に対して求められるのはたった1回「パシャリ」と写真を撮るだけなんです。
(C) ACM SIGGRAPH 出典: SIGGRAPH Asia 2018
もちろん、このアバターを使ってスマホのインカメラを使ったフェイス・トラッキングも可能。今回のデモンストレーションでは、こちらのフェイス・トラッキングを駆使した内容になっておりまして、観客の爆笑を誘っていました。
何といってもPinscreen最大の特徴は、トラッキングにデプスカメラ機能を必要としない、ということ！ iOS 11以上ならどのiPhone / iPadでも動作しちゃうんですねー。
デモンストレーションもかなりエッジの効いた内容になっていてとっても楽しめました。それにしても……ディープラーニングがこんな機能まで実現させちゃうなんて、進化のスピードが速すぎます……！
長きにわたって続いてまいりましたイベントレポートも、いよいよ次回がラストです！ お楽しみに―！！