AR（拡張現実）、VR（仮想現実）、MR（複合現実）のポテンシャル - MR編

今後、VRを含めた、AR、VR、MR の各技術はますます普及していくと思います。AR（拡張現実）、VR （仮想現実）、MR（複合現実）、最近は総称としてXR と呼ばれることがありますが、楽天技術研究所は過去10年、XR 関連の研究開発や取り組みを行ってまいりました。本記事では、その取り組みをご紹介しつつ、XR のポテンシャルについて述べていきたいと思います。

今回は本シリーズの最後となるMR編です。今までのAR編、VR編は以下になります。

Mixed Reality （複合現実）

楽天技術研究所のMR の取り組みは、AR 研究との派生の中から、まずは主に購入決定支援の応用例として取り掛かりました。

こちらは、ソファー等の家具を購入しようと考えた時に、それを実際に部屋に置いたらどのような雰囲気になるか、寸法やサイズ感はどうなのかを確認するためのアプリケーションの記事です。解説記事内では、AR アプリとVRアプリと表現されていますが、実際はARとMRの応用になります。気軽に家具インテリアの寸法や部屋へのマッチ度を確認したいときはARで、よりもっと臨場感をもって確認したいときはMRでそれぞれチェックしてみることができます。3D モデリングのコストは以前に比べるととても下がってきています。このようなAR、MRアプリを作ることも難しくはなくなりました。

この次に、同じような購入決定支援として、かつ、MRがある近未来として、我々がデモンストレーションしたのがショッピングでの活用シナリオである「MR-Shoppingu」です。ホロレンズを使っています。以下は解説Videoと記事です。

解説記事内には、MRは、実空間とインターネットの様々な情報を結びつけるインタラクティブな技術と述べていますが、このデモもそれを活かした機能を紹介しています。

例えば、本MRを利用している状態で、実際の店舗に入ると、オススメの商品が示されます。そして商品を手にとった後、その商品の詳細情報が表示されることで理解を助け、商品購入の意思決定を支援するというものです。

この研究の中では、MRにおける自然なインターフェースは何かという提案も行っており、例えば上の画像のように、商品の詳細情報を出す際には、オーバーレイされる形で表示されたウィンドウをつまむような動作をすることで映し出しています。

他にも、MR では自然な動画表示が可能であることもデモしています。

ユーザーの一連の動きを理解するコンテキストアウェアネスなアプリケーションにしており、商品を棚に戻すと他の商品がサジェストされます。

一般に、MRアプリケーションはまだまだ積み重ねが十分ではない領域です。そのためにはMRの操作法の標準化やユーザーの状況を把握した情報の提供方法、オンラインコンテンツとの接続性などを実現していかなければなりません。

この次に我々が手がけたのは、エンターテイメントツールとしてのMRでした。FCバルセロナとのコラボとの一環で、「FCバルセロナ ユニフォームコレクション」というイベントを楽天カフェで開催しました。同企画では、1980-1981シーズンから2013-2014シーズンに選手が実際に着用した歴代ユニフォーム48着を展示し、FCバルセロナの歴史とともに、ユニフォームそのものの進化も楽しめる取り組みとなったのですが、ここで、楽天技術研究所がMRアプリを提供し、ユニフォームから選手やサッカーボールが現れたり、動画コンテンツを視聴できたりといった体験を来客者に楽しんでもらいました。以下は、そのイベント及びMRアプリの体験を取り上げてもらった動画になります。後半からMRの紹介が入ります。

以下は、マイナビニュースさんに取り上げていただいた記事です。

記事内にもありますが、MRアプリの実際のサービス提供というのは、単にアプリを開発すればよいだけのものではありません。いかに、クライアントや店舗スタッフを巻き込み、新技術をどのように実際のフィジカルな店舗に取り込んでいく企画が立てられるかなどの議論を積み重ね、店舗の未来像の体験を一緒につくりあげていくというコラボレーションがとても大切になります。そのためにも、デザイン思考的なアプローチを採用しましたが、それに関してはいつか別記事として取り上げたいと思います。

他方で、エンターテイメントツールとしてのMRは、VRと同じく没入感が肝になります。2Dと比較して3Dの認識は難しく、本案件の場合は他の風景を同時に認識し、場所を推測する手法の作り込みを行い、また、コンテンツを奥行きをもって表現する等にも細心の注意を払い、空間デザインを十分に踏まえた開発を行いました。結果、空間とコンテンツのインタラクションも考慮した仕上がりになり、体験者の評価は上々でした。MRアプリは、デジタルサイネージを用いたサービスと同様に設置環境、光の有無・強さ、置かれている機材の光の反射や距離感、どこまで奥行きを表現するとより自然なのか等、考慮しなければならないポイントが多くあり、一点一点、現場での作り込みが重要になります。職人技、あるいはアートに近い面があるというのがなかなか難しいところです。

クライアントとの巻き込みや、共同で企画を進めていくことが大切と上の述べましたが、本取り組みは、FC バルセロナでの経営企画を考えるディレクターたちの評価を受け、メインスタジアムであるカンプ・ノウにあるFCバルセロナのミュージアムへの展示も果たしました。

ホロレンズをつけて、FCBの歴史を代表する様々なグッズ（例えば、メッシのサイン入りボールやロナウドが履いたシューズ、シャビが通算700回目の試合で着たジャージ等）を眺めると、詳細な情報や映像を楽しむことができます。このようなミュージアムでの利用等は、ARとともにMRのユースケースとしては基本的なところかなと思います。

そして、次に我々が手がけたのが、今後、普及が期待される5GによるMRでした。昨年11月に、楽天は、楽天イーグルスのホームスタジアムにて、5G ネットワークを活用し、自動配送ロボットの遠隔操作やドローンによる撮影映像を用いたユーザー認証など、5Gの導入によってもたらされる次世代のスマートスタジアム実現等に向けた実証実験を実施しました。楽天技術研究所はそれらの技術開発を担当したのですが、MRにおいては、360度カメラを用いた8K VRの映像配信というデモンストレーションを行いました。

5Gは高速大容量通信、低遅延という特質があり、これらによって、様々な場所の高精度なリアルタイム映像を用いたMRアプリも登場していくると思われます。自らはその場で動くことなく、世界中の今起きている出来事の中に没入しつつ、またそれに多様なインターネットの情報、コンテンツを結びつけて、実空間とインターネットの情報を自在に行き来しつつ、また融合した空間を楽しんでいく時代が来るのも遠い未来ではないのでしょう。

XR の目指すべきこと

さて、ここまでAR編、VR編、MR編、と楽天技術研究所の取り組みをご紹介しつつ、それぞれのポテンシャルについて述べてきました。AR、VR、MR、総称してXRは、今後、様々なプレイヤーからアプリがリリースされてくることや、より安価で軽量なHMDやMRグラスのようなデバイスによってコモディティ化していくところもあると思いますし、今存在するXRのアプリは、5G等の通信環境の向上とともにより高度化した高品質なものとしてどんどんアップグレードされるでしょう。ですが、そのようなハイクオリティ化していく方向性だけがXRの未来ではありません。特にARやVRの展開を見ていると、いかにXRによって今までのビジネス、サービス、アプリに付加価値をつけるか、あるいはビジネスそのものを拡張していくかというところが重要な視点なのではないかなと思います。

そして、XR すべてに共通して言えることですが、これまでのAR編・VR編・MR編における様々な事例で示した通り、AR、VR、MR（XR）は、実空間とインターネットの様々な情報を結びつけ、ユーザーを没入させ、時には、自由に両者を行き来させるインタラクションが可能な技術であり、そのようなやりとりを実現してこそ、真の価値が出てくるものと言えます。昔、茂木健一郎氏が著書「脳と仮想」の中で、現実の世界と仮想の世界の行き来にこそ興奮すべき可能性と創造が秘められている、と語りましたが、まさにそれこそがXRでしかできないことであり、我々の進むべき道であろうと思います。これは、楽天技術研究所の中心ビジョンである「サードアリティ」の根底にも流れている哲学です。

AR、VR、MR はますます普及していくと思います。この記事であげた特徴やポテンシャルを更に活かしながら、楽天技術研究所は今後もXRの可能性を探求できればと思っています。