2018年12月4日から7日までの日程で、東京・有楽町にあります東京国際フォーラムにて開催されました「シーグラフアジア2018」（SIGGRAPH Asia 2018）。只今各プログラムに出展されていた皆さんをご紹介しております。いよいよ「VR / AR」プログラムも今回が3回目です！
MR360 Interactive: 360°映像内でデジタルクリーチャーと戯れる（ヴィクトリア大学ウェリントン、株式会社オー・エル・エム・デジタル、株式会社ポケモン）
こちらはヴィクトリア大学ウェリントン、株式会社オー・エル・エム・デジタル、株式会社ポケモンの共同研究であります「MR360 Interactive」。HMDに投影される映像とライブ配信の360°パノラマ映像をリアルタイムでミックスした、MRによるインタラクティブなプレゼンテーションです。
ブース内に設置された360度VRカメラ（VUZE CAMERAを使用していました）からの映像と、VRHMDにて再生されているVR映像をリアルタイムで合成して表示する、という趣向になっています。生成された映像は2Dディスプレイはもちろんのこと、VRHMDでもリアルタイムに視聴できるようになっているんですね。
写真に写っているディスプレイの映像には、VUZE CAMERAが捉えた会場内の映像と、VR空間内で描画されているお魚さんたちのCGが合成されていますね。この2つの映像ソースはどちらもその場で配信・生成されていまして、まさに「リアルタイム」にミキシングされて表示されている、というわけ。
今回の研究では専用のツールキットを開発。360度映像内に設置された光源を検出して、その光源に基づいたシェーディング（陰影処理）の描画を実現していたり、リアルタイムの差分レンダリングにより仮想のオブジェクトを現実世界の背景と合成するなどの機能を備えているそうです。
ブース内ではデモ映像として、屋外の360度映像と「ポケモン」がリアルタイムにミックスされた映像が上映されておりました。こちらは残念ながら大人の事情で撮影できませんでしたが、「おおおおお！ VR版『Pokemon GO』じゃん！」と感嘆することしきり。
いやー、VRのリアルタイムストリーミングもMRの領域にきましたか……！ 実に感慨深いです！
Self-Umbrelling：主観的な重力の方向を反転させる（名古屋市立大学）
お次は名古屋市立大学芸術工学部・小鷹研究室の「Self-umbrelling」。
(C) ACM SIGGRAPH
「Self-umbrelling」は、主観的な重力の方向の反転によって「幽体離脱」に近い体験を提供する、という展示。、公式の紹介動画がありますので、まずはそちらをどうぞ。
体験者は仰向けの姿勢で寝転がり、トラッカーのついた傘を持ちます。HMDを付けた状態で傘を開くと、視点が一人称視点（1PP）から三人称視点（3PP）に切り替わるようになっており、傘を周期的に開くことで、一人称視点はは自分を吹き上げる体験を与え、三人称視点に切り替わるとは自分が上に吹き上げられる体験を提供します。これが「幽体離脱」を表現しているんですね。
HMD内の映像で敷かれている布と、実際に横たわる布が同じものになっているのもミソみたいですね！ こちらの展示は昨年のSIGGRAPH Asia 2017 BANGKOKに続いて2年連続の採択だそうでございまして、幽体離脱を体験しようと希望者の列が途切れることがありませんでした！
Lotus: 霧を用いた嗅覚ディスプレイによる仮想環境における没入体験の強化（台湾：国立台湾大学、淡江大学、国立交通大学）
(c) ACM SIGGRAPH
「VR / AR」エリアの最後にご紹介しますのが台湾のこちらの研究、その名も「Lotus」（蓮）です。「Lotus」は、気流を誘導するモジュールを搭載した、嗅覚で環境をシミュレートするための霧による嗅覚ディスプレイ。
こちらがその拡大した写真。体験者はHMDをかぶり、目の前にあるドアを開けます。すると、ドアを開けるタイミングを手に持っているトラッカーが検知して、それに合わせて上の装置から霧を噴射し、特定の香りを体験者に感じさせる、という仕組みになっています。
(C) ACM SIGGRAPH
もう一つ、この研究のキモになっているのが、体験者の横に設置されている円柱状の装置。これは気流を誘導するモジュールになっていて、噴射された霧をコントロールする役目を担っています。
体験者が別の空間に移動するアクションを行うと、一旦噴射された霧をモジュールが吸い取って周囲の空気をクリアにし、その上で別の香りの霧を噴射することで、別の香りを提供する……という仕組みになっているんですねー。
本研究ではメリットとして、体験者がHMD以外の機材を背負ったり追加することなく、様々な香りの体験を提供できる、としています。VRonで何度かご紹介している「VAQSO」さんでも、いったん噴出した香りを機器側で吸い取ることで香りが混ざらないような工夫がされていますが、こちらの「Lotus」でも同じような対策を取っているのが印象的でした！
さて、これで「VR / AR」エリアのご紹介はひとまず終了。次回からは「E-Tech」エリアのご紹介に行きますよー。お楽しみに！