AR（拡張現実）、VR（仮想現実）、MR（複合現実）のポテンシャル - VR編

今後、VRを含めた、AR、VR、MR の各技術はますます普及していくと思います。AR（拡張現実）、VR （仮想現実）、MR（複合現実）、最近は総称としてXR と呼ばれることがありますが、楽天技術研究所は過去10年、XR 関連の研究開発や取り組みを行ってまいりました。本記事では、その取り組みをご紹介しつつ、XR のポテンシャルについて述べていきたいと思います。

今回はVR編です。前回のAR編は以下になります。

Virtual Reality（仮想現実）　

楽天技術研究所のXRの取り組みは、ARから始まったのですが、続いてすぐにVRの取り組みも始まりました。

楽天は70を超える多様なサービスを展開していますが、そのうちの一つに、インターネット宿泊予約の楽天トラベルがあります。もう5年以上前の話なのですが、楽天トラベルが地方自治体との連携を強化していこうとしている中、観光地をVRで紹介していくというアプリケーションを開発、各自治体のアンテナシャップや物産展での展開を行っていきました。以下は、長野県 善光寺ですが、他にも石川県 兼六園、他四国や沖縄等、様々な観光地のVRを開発していきました。単にVRコンテンツの制作だけでなく、カメラ画像から自動的に3Dモデルを構築する手法もあわせて開発し、コンテンツ制作の効率化手法の提案も含まれています。

加えて、ウェディング式場を視察できるVRアプリも様々開発。楽天ウェディングと組んで、結婚式場を探しているカップルが、実際にその場にいるような臨場感をもって式場を見て回り、モルディブ、ハワイ、軽井沢等の式場をその場で比較できるという新しいサービス体験の提供を行いました。HMDをつけて、式場にある豪華な階段を上り、壮麗なバンケットルームを見回し、自分のイメージにあった結婚式、披露宴があげれるかを確認することができます。

以下は解説記事です。

我々がこれらの観光地、ウェディング式場のVR体験アプリを作っていた頃、既に、世の中は多様な VRの試みに溢れていました。ゲームはもちろん、医療、不動産、建築、様々な産業分野での活用が試行錯誤されていました。ですが、E-Commerce は意外にも事例が少なく、我々は新しいアプローチを考案して E-Commerce でのショッピングを体験できるVRの可能性を追求していこうと考え、楽天技術研究所パリのメンバーを中心に、CGアーティストの Jeremy Pluvinage 氏とコラボし、 Rakuten Virtual Boutique というVRアプリを開発しました。（以下、Jeremy 氏の個人サイトと、Rakuten Virtual Boutique の紹介動画。）

こちらは開発者による解説記事です。

記事は、VR の世界の素晴らしさは言葉では表せず、VR アプリの開発者として今までにない体験の地平を切り開く特権を感じている、という熱い内容になってます。このアプリも、単に VR上で、現実の世界で普段我々が行っているような、実際にあるような店舗でのショッピングを模倣もしくは再現するのではなく、現実には存在しえない、VR上でこそできるようなショッピング体験を目指すべきだろうという提案になっています。

その後、楽天技術研究所パリでは、VR上でのストーリー提示やVR動画制作に関する研究を進め、様々なVRコンテンツを制作し、以下のような、VR空間内におけるユーザーの自然な誘導に関するコンセプトの提示等まで進めました。（これに関しては後日別途記事を書こうと思います。）

ここから我々のVRのプロジェクトは意外な展開がおきます。話はちょっと変わりますが、楽天技術研究所では、長くデジタルサイネージを使ったアプリケーションに関する研究をやっており（これに関してもまた別途記事を書こうと思いますが）、デジタルサイネージによるリモートでの接客の可能性を探る一連の研究が、VRの研究と融合するという展開がおきました。

例えば、以下の記事です。VRで遠隔地からの接客を行うというソリューションになっています。

店舗にはデジタルサイネージが設置されています。そのデジタルサイネージ上に、CGのキャラクター（上記記事では、謎のうさぎ人間。。。）が現れ、カスタマーはそのキャラクターと会話をします。実際は、そのキャラクターはリモートから接続している店員が操作しています。店員はヘッドマウントディスプレイをかぶってVRの世界に入り、カスタマーと接します。VRの世界においてある様々なアイテムをとって、カスタマーに色や柄の組み合わせ、上下のコーディネーション等、ファッションスタイリングの提案等を行います。ここでは、VR は、店舗の実際の広さや店舗に置いてあるアイテムに縛られない、自由な接客空間として店舗のスタッフに開かれます。物理的なものにしばられずに、コーディネーションを自由自在に提案することができるようになるわけです。

また、これは、感性工学の研究とも組み合わさっており、店員もカスタマーもコミュニケーションのハードルが下がってリラックスしたやりとりができるという効果を体感しています。実際には交わせないような直接的なフィードバック、例えば「この服は好きじゃない」「この色はあまり似合わない」等も柔らかいインタラクションの中で自然に行うことができます。

この接客は、例えば、カリスマ店員のようなスキルのある店員のファッションスタイリングをどこの店舗でも受けることができるというわけですが、店員も同じVR空間から日本全国の複数店舗に向けて接客も可能になります。また、もし店員が在宅で接客をしたい場合にも対応が可能になります。様々なライフステージの変化で店舗に立つことに制約が出るようなスタッフもその優秀なスキルをVR空間から活かし続けることができるわけです。つまり、店員の接客を多様な形でスケールさせていくものとしても機能します。

この接客研究は、更にVTuber とのコラボという展開をしました。例えば、以下は、VTuber 東北ずん子とコラボした東日本大震災チャリティイベントにおける試みです。

東北ずん子が、道行くお客さんに特産品の接客をするのですが、

実際は別の場所で、店舗スタッフ（男性）が東北ずん子を操作しており、声もスタッフの声を加工して使っています。VR空間内には商品が配置されており、それを手にとって見せながら商品説明をします。

デジタルサイネージでのエンターテイメント的な展示は、物珍しさによる通行客の足止めとしての効果があるわけですが、このVR接客はそれ以上の効果がありました。上記記事にもありますが、最初からお客さんと東北ずん子との会話のやりとりは自由かつオープンな空気の中で進行し、お客さんにも好印象を持ってもらえました。（VR接客を、VTuber以外にも遠隔操作する人型ロボットでやるという方法もあるかもしれません。ここはポテンシャルを感じる領域です。）

このVRを活用した、「物理的な制約にとらわれない」「コミュニケーションのハードルを下げる」リモート接客に関しては、今現在も以下のように研究が発展中です。

以上、今回はVR編でした。本シリーズは、最後のMR編へと続きます。