Inter BEE 2018 / DCEXPO 2018に行ってXRの最前線を見てきました！（その5・IGNITIONトークセッション）

先日幕張メッセで開催されました「Inter BEE 2018」。これまでは出展ブースをご紹介を中心にお送りしてきましたが、今回の取材における2つの目玉！　その一つがこちらのトークセッションであります。

今回はこのトークセッションを詳しくご紹介してまいりましょう！

16日（金）13：00～　Inter Bee IGNITIONトークセッション「高臨場感時代の音と映像の表現手法の再定義」

登壇者はこちらの皆さん。

• 水野 拓宏さん（株式会社アルファコード 代表取締役社長CEO）
• 森 彩香さん（音楽座ミュージカル 俳優／プロデューサー、「LITTLE PRINCE ALPHA」王子役）
• 大黒 淳一さん（サウンド・アーキテクト／作曲家）
• 江口 靖二さん（モデレータ・一般社団法人デジタルサイネージコンソーシアム 合同会社江口靖二事務所）

以下は「Inter BEE Magazine」にて公開された、登壇者の皆さんによる打ち合わせの模様。本編の前にぜひご一読を。

【Inter BEE 2018】INTER BEE IGNITIONセッション「高臨場感時代の音と映像の表現手法の再定義」高精細な映像・音が可能にする"体験の演出"で求めらる制作手法の見直し
https://www.inter-bee.com/ja/magazine/special/detail.php?magazine_id=3900

では、早速セッション本編についてじっくりと！

左：江口 靖二さん（モデレータ／江口泰二事務所）　右：大黒 淳一さん（サウンド・アーキテクト／作曲家）

左：森 彩香さん（音楽座 俳優／プロデューサー）　右：水野 拓宏さん（株式会社アルファコード CEO）

高い臨場感を体験させる、新しい「音の映像のエンターテインメント」

今回のテーマは「高臨場感時代の音と映像の表現手法の再定義」。モデレータを務める江口さんはこう切り出します。

江口「今回（InterBEEの展示を見ると）「４K」とか、12月から始まる８K放送とか、はたまたついに「16K」なんてものも出てきていて、どんどん高解像度の映像が当たり前になりつつあると。あるいはプラネタリウムやVRといった全天周型の映像というものが当たり前になってくると、こういった状況の中で、これまでの「音響の作り方」というか「お作法」といったようなものでは収まりきれなくなるんではないか、あるいはもしかしたら（音響制作の手法が）全く違うんではないかという疑問をずっと持っていまして。

このような、いままであまり語られていなかった（高画質映像における「音響制作」に関するテーマという）ところをけっこう深いところまでつっこんでお話をしたい、と思っています」

（カッコ内は筆者による補足）

江口さんは事前のインタビュー記事でも、

「技術の進化で8K高精細映像や22.2チャンネルなどが実現し、映像や音のリアリティが増していくと、映像を見ていてこれまでにないリアリティを感じる。そうなると、今度は、カット編集でカメラ位置が変わると、あたかもそこに瞬間的に移動したように感じ、頭の中が混乱する感覚が生じることがある。リアリティが増すことで、これまでの映像コンテンツ制作の手法を見直す必要が出ているのではないか」

【Inter BEE 2018】INTER BEE IGNITIONセッション「高臨場感時代の音と映像の表現手法の再定義」高精細な映像・音が可能にする"体験の演出"で求めらる制作手法の見直し　より引用
（以降、同記事からの引用については「InterBEEマガジンより」と表記します）

と、本テーマにおける具体的な切り口について言及されていましたね。

つづいて、登壇者の皆さんのご紹介。アルファコードの水野さんと音楽座の森さんによる、「LITTLE PRINCE ALPHA」のプレゼンテーションから。

水野さん率いるアルファコードさんはVRを中心としたコンテンツ制作・アプリケーション開発などを中心に事業を展開。8KVRコンテンツ制作ソリューションパッケージ「VRider」などで知られます他、オリジナルのVRゴーグル「VRiderグラス(VRider Glasses)」も作っていらっしゃいます。去年のコンテンツ東京では「獺祭」とのコラボコンテンツを出店されていましたね。

そんなアルファコードさんが国内有数のミュージカル劇団「音楽座」と取り組んでいるのが「VRミュージカル」です。

音楽座とアルファコードの二社により上演された演劇公演「LITTLE PRINCE ALPHA」が、先進映像協会日本部会主催「グッドプラクティス・アワード2018」の奨励賞を受賞したことは先日お伝えしたとおり。

演劇公演「LITTLE PRINCE ALPHA」

「LITTLE PRINCE ALPHA」の詳細な内容などについてはVRonによる取材記事をぜひ御覧いただけるとこれ幸い。

「LITTLE PRINCE ALPHA」は、ミュージカル劇団「音楽座」さんが1993年に初演を果たし、以降劇団を代表する作品となった「リトルプリンス」をモチーフとしたミュージカルです。原作はご存知、サン・デグジュベリの「星の王子さま」。

2017年2月、アルファコードさんと音楽座さんのタッグにより、町田の音楽座稽古場にて行われたトライアル公演が「リトルプリンスVR」で、その1年後にお台場の未来館ホールで再び行われたのが「LITTLE PRINCE ALPHA」。１回の公演で同時に100名以上を動員できる形態（VR体験者は交代制で1公演あたり40名）を作り上げました。

新作を制作するにあたって水野さん・森さんは、

水野「昨年の「リトルプリンスVR」のときはVRの（体験をする）人が10名だけで行うミュージカルだったのですが、（今年の公演は）「よりたくさんの方に見ていただき、楽しんでいただくにはどうすればよいか」「ミュージカル興行として成立させるにはどうしたらよいか」という挑戦を含めてのミュージカルでした」

森「（演じている側としては、VR席でVRHMDを）「つけて見ている人」を（演者側から）見る、というのもすごく楽しいんですよ。今どこを見ているんだろう？　どういう反応をしているんだろう？　というのを後ろから見ている、というのが、とても楽しかったですね」

こちらが実際の上演の様子。ステージ上で座っている方々は「VR席」の観客でHTC Viveをかぶっています。VR席の観客は見ている映像は前方のプロジェクターにて広角の形で表示されており、後方にいる一般席の観客にもVR席の映像がわかるようになっている仕組みです。

また、このVR席の観客は……

• 同時に20名の観客が、全く同じ8K360度VRの映像を見ている
• VR席の観客はヘッドホンを付けておらず、舞台の周囲に設置された最大で32チャンネルのスピーカー群が出力する、オリジナル「立体音響」システムを通してダイレクトに聞いている

のが大きなポイント。特に「ヘッドホンを付けていない」のが重要なのです。

上の写真がその「立体音響システム」。舞台の中央を中心に円状に配置された12個のスピーカーと独自のシステムにより、場面に登場している出演者の位置から音が出る仕組みになっています。また、この「音の出る位置」は…

上の写真、左側にあります「色のついたアイコン」を動かすことで移動させることができます（黄色：「飛行士」役、ピンク：「花」役、青：「王子」役）。つまり、映像で動いている出演者の位置を同期させることで、実際にはそこにいないはずの出演者の声や物音がリアルに伝わってくるようになっているんですね。

まとめがこちら。200個のネットワークLEDによる空間演出などについてはVRonのレポートでご紹介していますよ！

森「（200個のネットワークLEDについて）光っていないときは「なんて無機的なただのボールなんだろう」って思っていたんですけど、観客のみなさんが実際に光っている手に持って、実際に振ると光の強さが変わったりしたときに、なんか実際に持っている人の心を表しているみたいな、心がつながっているような感覚を感じて、感動しました。

（立体音響について）面白かったです！　はじめての感覚だったので……。音響なのに、すごくリアリティがあって、ものすごくそばで話しかけられている声の質感とか距離感とかも肌感覚で感じるものだったので、驚きました！」

江口「私も実際の公演でVR席を体験したんですが、（中略）ゴーグルをかぶっている（VR席の）観客も全く同じ印象で、バーチャルなんだけどリアルな音が後ろとかから聞こえてきて、音がする方を向いちゃうんですよね。あれって見てる側もそうでしたけど、演じている側も（リアリティを）感じた、ということですか」

森「はい、そうです！　360度音に包まれている感覚がすごかったです」

水野「（立体音響を）やってみてよかったのは去年に比べて、実際に役者さんが画面に登場すると、その登場した方向に（VR席の）全員がそっちの方向にパッと向くんですね。これが映像にはない音の良さといいますか……、「音がする」というのは古来から人間にとって重要な作用があるって言われていますけども、そういう「音がする」ということがここまで人間の注意力や行動に影響を与えるんだな、と思いましたね」

24chを遥かに超える、立体音響を通じた「サウンド・アーキテクト（音響建築）」の最前線

つづいて、サウンド・アーキテクト／作曲家として活躍されている大黒淳一さんのプレゼンテーションが始まりました。

大黒淳一さんはRolandのコンテストで全国グランプリを受賞後、国内外で音楽制作やリリースを行い、映像や空間のサウンドデザインやメディアアート作品などを手がけてきました。2006年にベルリンへ渡ってからは「Marlboro」「Playstation 3」等の海外CM音楽を手掛けた他、北京オリンピックや上海万博のプロジェクトで音楽制作を担当するなど、ワールドワイドな活躍を続けています。

コニカミノルタプラネタリウム”天空”「フランス 星めぐりの空で」

そんな大黒さんが最近手がけたのが……コニカミノルタプラネタリウムの立体音響！

以前にVRonでも「Virtualink」をご紹介しました（現在VRコンテンツのサービスは終了）、「コニカミノルタプラネタリウム“天空” in東京スカイツリータウン」に現在導入されている43.4ch立体音響「Sound Dome」システム、こちらを大黒さんが手がけられています。

「Sound Dome」は、ドームの裏側や床下に、なんと「43個＋サブウーファー4個＝43.4チャンネル」のスピーカーを配置し構築した音響システムです。これにより、通常のサラウンドよりもリアルで高い臨場感を実現しています。

こちらが実際の設置図面。概念的には、ドーム状に設置されたスピーカーのうち、三角形を形成する「3つ」のスピーカーを制御することで、その三角形の位置内に音を配置させる、という仕組みです。

ドイツの研究機関・美術館である「ZKM」にて研究されている3D音場システム「Sound Dome」をベースにした専用ソフトでコントロールされていて、ドーム内で音像をリアルタイムに前後左右や上下に動かしたりできるのはもちろん、「回転」も可能になっているそうです。また、演奏している一つ一つの楽器を、ドーム内のそれぞれ特定の空間に配置することができるようになっています。

大黒「例えば、2つのスピーカーで何か（音を）作っていくというのは当たり前なことですが、（このようなシステムになると）もう前後も左右もなくて、音の作り方や音楽の考え方自体を全く新しい形で捉えないと、こういう空間で音を作るというのは非常に難しいものになります」

江口「まさに『サウンド・アーキテクト』、建築の世界に近いような話になってきますよね」

大黒「その通りですね。今はこういったマルチチャンネルを使った作り方の場合、コンテンツ自体、ハードウェア、ソフトウェアの3つがちゃんと揃っていないと。ハードだけが出来上がっても駄目ですし、ソフトがなくてもコンテンツもないと駄目ですね。三位一体というか、そういうバランスがすごく重要ですね」

江口「そう考えると、例えばバロック音楽の時代で、教会音楽におけるオルガンって、楽器でもあるし建築物でもあるじゃないですか。あれになんか逆戻りしているような感じがしますね」

The Berlin Institute for Sound & Music（ISM）「The ISM Hexadome」

このあと、大黒さんから「実際に立体音響を活用したアート作品」として紹介されたのが「The ISM Hexadome」。The Berlin Institute for Sound & Music（ISM）の手により2017年にベルリンで初公開され、現在も散発的に各地で展示が行われています。以下が公式のトレーラー映像。

参加しているアーティストが奮っておりまして、筆頭にあの！　アンビエントの先駆者ブライアン・イーノの名前が！　その他、アンビエント・ミュージックの世界で活躍しているアーティストが並んでいます。ドーム状の空間に6つのディスプレイが設置されていて、ディスプレイの映像と立体音響が同期して空間内を包み込む仕組みです。

今回大黒さんが手がけたコニカミノルタプラネタリウムの展示も「ドーム状の立体音響」「映像と音響がリンク」という点で共通しており、「日本で初めての『音と映像が完全に同期した、立体音響の商業コンテンツ』」（大黒さん）である、とのこと。事前の記事でも大黒さんは、

「Sound Domeを商業的に使用したのは、実は今回の"天空"が世界で初めての試みだった。 Sound Domeシステムは、音だけで引力を感じるような、体が引っ張られるような体験も作り出せるなど、音は視覚以上の感覚をもたらすことができる。プラネタリウムは、実際の空間の中に音と映像が360度の範囲で表現できる。技術的な試みとともに、没入感をどうすれば楽しめるかといった演出的な面でも、貴重な機会だった」

InterBEEマガジンより

と話しています。

これからの「高臨場感」時代を迎えて、私達はどうやって「表現」すればよいのか？

登壇者の皆さんの発表も終わり、いよいよセッションは後半戦に入ります。

江口「今回VRミュージカルのお話と、大黒さんの（Sound Domeの）お話は、アプローチの仕方は違いますけども結局「絵と音をどうするのか」という話で、映像がリアルになっていくなかで音はどうやるのか、って話になるんだと思うんです。

どちらの事例においても（共通しているのが）マルチチャンネルを扱う世界の中で、従来のように一つ一つの音をミキサーで制御するのは、できなくはないだろうけど（作業量的にそんなことをしていたら）たぶん死んでしまうわけですよ（笑）。それをソフトウェアで（一括して制御）できる、というのがやはり大きいんですかね？」

水野「やはりダイナミックだということはけっこう重要で……。たとえばマニピュレータの方がやっていることって、PAを通じて様々な表現をされているわけですよね。例えば自分たちが最初にオーサリングして12チャンネルの音を固定で音源として作ることもできるんですけど、やはりPAを通してEQを変えたりしてダイナミックさを出す、というプロセスは行っているんですよね。そういったことができるシステムづくりという点において、ダイナミックさというのは重要だな、と感じました」

江口「森さんに。ミュージカルをやっている俳優さんとして、今回の「VRミュージカル」なるよくわからない案件が来て（笑）、最初はどう思いました？」

森「私、実はすごく機械が苦手で、ケータイも嫌いだしパソコンも嫌いだし、こういう技術系のものに対して全く接触がなかったんですよ。だからもちろん興味もなかったんですけど（笑）、でも、実際に（360度VR映像の）撮影をする、ってなったときに驚いたのが……。

私は俳優なので、舞台で演じる、となると「目の前にお客様がいる」という空間を受け入れる、ということをものすごく頑張るんですね。でも、VRの撮影では（カメラに写り込んでしまうから）誰もいない、あるのはカメラだけ、カメラに対して芝居をするというある種の「孤独感」があって、「（誰も）いない」ということを受け止めるのがすごく大変でした。

ただ、これは面白いなって思ったのが、その空間に（誰も）いないんだ、って思ったときにその世界に入り込める、というのが面白かったですね。ああ、本当に私は「リトルプリンス」の世界にいるんだ、って思ったときに、自分が「森彩香」として演じるということではなく、星の王子さまの「王子さま」としてそのものの世界にいるんだ、という感覚になれたというのは……。

機械に「そうならせてもらった」、っていうのがちょっと悔しいですけど（笑）。観客がいるといないとでこんなに大きく違うんだ、というのは大きな発見でしたね」

水野「確かに僕らがVRの撮影をするときに、360度が全部写ってしまうので、スタッフも含め誰もいない状態にするんですね。そのうえで『このカメラを主人公だと思って演じてください』とオーダーを出したんですけど、森さんやっぱり最初は不安がってましたよね（笑）。そういったことがある意味で「自分しかいないから、その世界に入り込んだ」という思いにつながったということですか？」

森「はい、そうです！」

江口「僕も実際の公演でビックリしたことがひとつあって、一つは主役の森さんが（VR）カメラの前へ来たときに、森さんの視線が、なんていうのかな、舞台上で誰かに対して送っている視線でもないし、リアルなカメラで撮影しているときのカメラ目線でもないし、何か見たこともないような強い目線だったんですよ。これってやはり、原因として（森さんが）たった一人でやっていて、世界に入り込めたから、ってところもあるんじゃないかなって思いましたね。

それともう一つ驚いたことが……これもさっき話しましたけど、舞台の進行上、役者さんが舞台の上を駆け回って演じているわけですよ。で、僕らは（事前に）なんの説明も聞いていないので、どこが本当に演じていて、どこまでが映像なのかわからない。わからないけども、周りで足跡がするとか、役者さんが走り回ると風が来るんですよ。

これがなんというか、リアルとバーチャルをミックスさせていて、なんと表現したら良いのかわからないんだけど（笑）、新しい体験であったことは間違いないですね」

水野「うまく頭の中で混乱していただいてありがとうございます（笑）。実際そこは「混ぜたい」と思っていて」

森「そうなんですよ。普段見えることとか感じているような、人間の機能として「当たり前」と思っていたことが、VRゴーグルをつけることでより鮮明になるというか、すごく研ぎ澄まされた感覚になったのがすごく面白いなー、っていう発見でしたね。（中略・水野さんに）敢えてですよね、ここ（ヘッドホン）をつけなかったのは」

水野「そうですね。どっちかというとVRで立体音響、というとヘッドホンでアンビソニック（※１）とかを使って、２つの音で再現するというのが多いんですけど、うまく「本当にいるわけじゃないけど、そこに演者さんが「いる」んだ」と思ってしまうようなことをやるには、やはりどうしても自分の耳で聞いてもらわないといけなかった、というのはありますね」

（※１　アンビソニック……360度全体の音響を記録できる録音技術の一つ。VRコンテンツでは「バイノーラル」と併用することで立体音響を表現するケースが多く、この場合『ヘッドホンの使用』が推奨される）

大黒「（初めて公演の）映像を見させていて頂いたときに、実際にスピーカーから出ている音と、役者の人がやっているリアルな音ってあるじゃないですか。その感じがお客さんにとってどんな風に聞こえているのかな、っていうのがすごく興味がありますね」

江口「僕は公演のときは「VR席」といって、演者さんが360度動き回る席にいたので、一番「両方の音」を体験できたんじゃないかな、と思います。で、演者さんの生声のセリフと、スピーカーから出ている演者さんのセリフって、よく聞けば聞き分けられますけど、そこはさほど違和感がない。一番リアルに感じたのは「風」とか「床がきしむ音」とか、そっちなんですよね。だから五感の中の「聴覚」だけではない他のものもひっくるめて感じてるところというのは、生のほうがリアルだったのかな、と」

水野「今の話はけっこう私も悩んだんですよ。生で演じている方の声と、録音だけで声というのは違うんじゃないのかなー、と思っていたんですけど、そこはPAの方にもすごく頑張っていただいて。普段の演技の声も、実際は生声とPAを通した音がミックスされた状態で出てくる（※２）んで、そこはうまくやりつつ「混ぜてしまう」という仕組みを入れた、というのはありますね」

（※２　今回の公演では演者がマイクを装着しており、マイクの拾った声がPAを通してスピーカーから出力され、現場の生の声と混ざり合う状態になる）

大黒「聴覚って、人間が生まれてから死ぬまでずっと開いている「感覚」と言われていて、他の感覚は消えるけど、耳だけはずっと「起きている」と言われています。これは昔から外敵から身を護るため、空間を把握するために研ぎ澄まされてきた、という経緯があるので、目よりも耳のほうが（位置認識の点などにおいて）発達してきたと思うんですね。

で、今回のVRミュージカルですごく面白いなと思ったのが、ゴーグルを付けることで（かえって）役者の気配が気になる、というところだったんですけど、演じる側として、「自分の音を出そう」とか、そういった点を意識されたところってあるんですか？」

森「うーん、故意に、ってわけではないんですけど、そこに「いるんだ」と認識してもらえると私は嬉しいんですよ。役者はそこにお客さんがいると思って配慮して周りを回ったりとか、どうやって周りを巻き込むかってところにちょっとでも意識を持っているとそれって（お客さんが）感じるものなので、我々もVR（ミュージカル）をやるときにどの角度がいいんだろうとか、どの距離感がいいんだろうとか細かく練習して悩んでましたね」

大黒「この話って、今回のテーマである、高解像度になった映像とか音とか舞台だったりとか、そういうものって今までの僕らが見てきたものとはまるっきり感覚が違ってきている気がしますね」

水野「コンテンツを作っていて思うことがあって、コンテンツって映像も音もそうですけど、作り方に２つのアプローチがあると思うんですね。一つは「現実に起きていることをリアルに再現する」、あとは「現実とは違うんだけどもリアルに感じる」という作り方ですね。今回僕らは「そこにいるように感じる」というところをどうやったらいいか、というのはすごく悩みました。

実は僕らの立体音響システムも、例えば「そっちの方向に森さんがいる」というのを正確には作っていないんですね。もっと広く「なんとなくあっちの方向にいる」いう方にごまかしてるんです。でもそれによって、立体音響を施したVRを見た方から「これって何がすごいんでしたっけ」「何が変わったんでしたっけ」という感想を頂いたんですね。

あまりにも自然だったが故に何がすごいのかよくわからなくなったという、それはつまり「あんまり頭を使わなくなっていた」というか。そこはそれで作り方として「リアルにする」というやり方もあるんだなー、と思い知らされました」

このあとも、映像コンテンツと音声コンテンツの未来について様々なトークが繰り広げられました。

一番のキーポイントだな、と筆者が強く感じたのは、「少なくとも4K、8K……あるいは22ch・43.4chといった「絵と音」の解像度が上がるに連れて、人間の感覚を超えた状態ができる」という厳然たる事実。

江口さんが話されていたエピソードにこんなものがありました。とあるコンテンツを22chサラウンドで撮りました、その素材をいざ編集しましょうとなったときに、カット割りに応じて位相が変わるはずの音をどう処理すればよいのか、という難題にぶつかってしまった……というもの。

結局2chベースの編集になってしまった、というエピソードが非常に象徴的だなー！と感じました。合わせて水野さんがCGにおける「不気味の谷現象」を挙げていらっしゃいまして、ここの壁っていうのはCGだけではなくって、映像や音の世界でも起き得るんだなー、と。

あと、最後にこんな話も。

江口「今、全日空さんもブース出展されていて（DCEXPO内）、バーチャルトラベリングをやってるんですよ。カメラを付けたロボットが旅先にいて、アプリで遠隔操作させながら擬似的に観光ができるという。でね、じゃあなんで全日空さんがそんなことをやってるんですかという話ですよ。それで出てきた答えがね、「私達は輸送業をやっています。観光も重要な商売です。でも、こういう形でバーチャルな観光ができるということは、広義の輸送業です」と。

だから、リアルに行かなくてもいいとか、行きたくても行けないとか、そういう方々のために人間がリアルで動かなければできない体験を、物理的ではない方法で提供しても良いのではないか、そしてそれによって、必ず「行きたくなる方向」にいく（→商売に繋がる）よね、という話を聞いて、すごいな、そこまで考えているのか、と」

水野「僕は人間の欲を信じてますよ。VRとかで地方観光とかやると、『VR止まりになっちゃうんじゃないですか』ってよく言われるんです。VRミュージカルでも『将来的に見たら誰も行かなくなっちゃうんじゃないですか』って言われますけど、全然そんなことないですよ。

VRをやっている人たちや僕もよく思っているのは、人間ってより本質的なこととか、より深く知りたい、という欲があって、一度VRで見たあとは、ここって本当はどうなんだろう、という感覚から逃れられないと思うんですよね。その点でVRで見るいうのは客観的かもしれないですけど、自分ならではの見方や視点で見つめ直して深く知るチャンスって、VRが進化しても絶対残ってると思っています」

VR・AR・MRといった「XR」は、まさしく人間の感覚を「拡張」するものにほかなりません。であるがゆえに、我々にはいずれ今までの常識を捨て去らなければならないタイミングが訪れます。

果たして、そんな「常識」を捨て去って、いち早く進化するのは技術が先か、それとも人間か……。そんなことに思いを馳せずにはいられない、すばらしいセッションでした！

Inter BEE 2018 / DCEXPO 2018特集はまだまだ続きます！　次回もお楽しみにー！