ステレオカメラや深度センサーをつかった画像解析・3D立体認識の現在、そしてこれから

今のARは現実の空間をカメラで取り込み、シースルーのような形、かつ2D（平面的）で表現してきましたが、これからはいったん3Dに置き換えてから表示するようになっていきそうですね。

Appleの「ARKit」、Googleの「ARCore」、そして、Microsoftの「HoloLens」に「Windows MR」、これらは布石かもしれません。今、世界中の至る処でそのための技術が着々と開発されています。

インフラとして街頭カメラが増えてきていますので、複数のカメラが町中にありふれて存在する現在に、もしカメラを通じて物体を3D認識できるようになれば、すでに芽が出始めている下記のような技術が一般的に利用されるかもしれません。いやー、昔のSFのような世界が現実のものになっていきそうですね。

さすがに、あるいはこれまでに数々のSF作品でよく出てきたような「火星に人類が行く」はいまだ実現していませんが、

たとえば「車が空を飛ぶ」は「乗用ドローン」が出現しましたし、

What if they told you we can drone to work? #ehang184 #futuretransport #futuredr… https://t.co/b9PCsd3naU pic.twitter.com/VwtltDa5Rm

— Dronegram (@dronegramnet) July 30, 2017

火星に到着させるための人型ロボットも開発されてますし、

Meet NASA's R5 Valkyrie Humanoid Robot - https://t.co/GnsAhYuto2 pic.twitter.com/e9PF5zwVbu

— Robot News (@news4robot) February 4, 2017

テレビ電話は今やスマホでできますし、腕時計型電話だってもうApple Watchとかでありますし……　これからどんどん昔では実現できなかったことが可能となっていきます。乞うご期待ですね！

それでは、ステレオカメラや深度センサーをつかった画像解析・3D立体認識についてまとめてみましたので、ぜひどうぞ！

ステレオカメラをつかって画像を解析

インテルのFPGAボードでステレオカメラでの処理例

Jetson TX1+Stereolabs ZEDステレオ カメラで画像解析してドローンを飛ばす

ステレオカメラでポイントクラウドのデモ

複数台のデプスカメラを使用して、3D立体の情報を取得する

1台のデプスカメラから3D立体情報を取得する

まだ演算機の都合で3Dデータは一旦ポリゴンモデルにしてから利用されていますが、演算速度が上がったことでポリゴンからポイントクラウドへ3Dデータが移行しつつあります。いずれはポイントクラウドを元にした新たな規格が策定されるところまでいくんじゃないかと！

ヘッドマウントディスプレイを使った、３Dの仮想空間を前提にしたこれらの技術の発展は、ゆくゆくは

• 遠隔操作での重機操作
• 人の入れない空間やサイズの遠隔操作
• パワードスーツの商用化

といった、人間だけではなしえることのできない「人体の機能拡張」にも確実に寄与していくことになるでしょう。だからこそ、これからのVR・AR・MRの発展、そして未来が楽しみで楽しみで！

これからもニュースやコラムの形でご紹介していきますので、お楽しみに！