コンピュータ科学分野の国際学会（ACM）の分科会「シーグラフアジア2021（SIGGRAPH Asia 2021）」が昨年12月14日から17日までの日程にて、東京国際フォーラム（リアル開催）、及びオンラインのハイブリッドにて開催されました。
只今各発表・展示について順次ご紹介しております。本日は「E-Tech」第3弾です。
HoloBurner: Mixed Reality Equipment for Learning Flame Color Reaction by using Aerial Imaging Display（日本・立命館大学大学院映像研究科、大島研究室）
こちらは立命館大学、大島登志一先生率いる大島研究室の発表。大島研究室はSIGGRAPH / Asiaや他の学会にて多くの採択研究を持ちます。今回の「ホロバーナー」もその一つで、情報処理学会インタラクション2019にて採択された「空中像ディスプレイを用いたバーチャルな炎色反応実験教材の研究」が礎になっています。
これが装置のアップ。装置に設置されたガスバーナーを操作することで、空中結像型ディスプレイに炎の様子をシミュレートされて表示される他、手前にある元素記号をペン型デバイスで操作することで炎色反応の変化までリアルにシュミレートされる、というものです。
実際のガスバーナーの部品を使用することでより現実と同様の操作感覚を掲示できる他、シュミレートされた映像を表示することで、実際にガスバーナーを使った実験にて起こり得る事故の危険性を回避でき、安全に炎色反応実験を体験できる……というのが大きな主眼点となっています。
さらに、使われているデバイスやディスプレイも最新の技術を使ったものではなく、あえて既存の技術のものを使うことで大幅なコストダウンを狙っているのも、無視できない大きなポイントです。
大島先生ともお話させて頂きました。「まさに『枯れた技術』を使ったのは、装置の普及を踏まえるにあたって考えた大きな狙いの一つです」とのことで、めちゃくちゃ現実的に教育現場投入を視野に入れているのが伝わってきました。E-Techといえば最先端のテクノロジーが全面に出がちですが、これこそがまさしく逆転の発想、でありました。
Simultaneous Augmentation of Textures and Deformation Based on Dynamic Projection Mapping（日本・東京大学、石川グループ研究室）
こちらもSIGGRAPH / Asiaの常連であります東京大学・石川・妹尾研究室の発表。今回プロジェクションマッピングについては前回ご紹介した東工大の研究と、こちらの研究が採択されています。
まずは実際に公式の映像を見ていただいたほうが早いのですが、こちら「ダイナミックプロジェクションマッピングを用いた物理シミュレーションに基づく3次元物体の変形錯視」というもので、高速に動く物体に対してプロジェクションマッピングを行う「ダイナミックプロジェクションマッピング技術」の一種として，運動する剛体の3次元物体の形状を，仮想的な物理的特性に基づいてあたかも変形したかのように見せています。
つまり、マッピング先の物体を振ったり、ドスンと床に落としたりすると、それに合わせてマッピング映像が物理演算に基づいて加工され、あたかも変形しているようにマッピングされる、というわけ。
さらに演算の際、変形後の形状が投影対象からはみ出さないように輪郭の内部に留めるプロセスを追加することで、物体にマッピングする映像が物体内に収まり、出てしまうことで発生する違和感を軽減する、なんていう芸当までやっているのがミソであります。
マッピング先の物体のトラッキングにはマーカーを使用（上の心臓についている丸い点がマーカー）。マーカーを高速トラッキングした上で物理演算を行い、さらにはみ出さない処理を追加してマッピング出力する、という途方も無い重さの処理をやっているわけですね。
実際に拝見しましたが、ドスンと心臓を床に落とすと「ブルルンっ」と震えるのがめっちゃちゃ自然でした！ 現場では「はみ出さない処理までやっている」という説明を聞き逃していたので、この記事を書いていてさらにびっくり！ プロジェクションマッピングがここまで来ているんだなー、ということを認識されられる研究でした。
まだまだE-Techが続きます。お楽しみに！
取材協力：「シーグラフアジア2021（SIGGRAPH Asia 2021）」運営事務局