AR（拡張現実）、VR（仮想現実）、MR（複合現実）のポテンシャル - AR編

先日、5Gについて解説した記事を執筆しました。

この記事でも言及しておりますが、5G が本格普及しますと、よりリッチなVRワールドのコンテンツを多人数で同時に共有して楽しむということも可能になると言われています。

今後、VRを含めた、AR、VR、MR の各技術はますます普及していくと思います。AR（拡張現実）、VR （仮想現実）、MR（複合現実）、最近は総称としてXR と呼ばれることがありますが、楽天技術研究所は過去10年、XR 関連の研究開発や取り組みを行ってまいりました。本記事では、その取り組みをご紹介しつつ、XR のポテンシャルについて述べていきたいと思います。

なお、楽天技術研究所の様々な研究プロジェクトは以下からご覧になれます。

まずは、AR （拡張現実）編です。

Augmented Reality（拡張現実）

楽天技術研究所のXRの取り組みは、まずこの AR-HITOKE から始まりました。

楽天のコマースビジネスである、楽天市場は、インターネット上のオンラインでのサービスだけでなく、出店いただいている店舗様と一緒に、オフラインでの「うまいもの大会」等の物産展や様々なイベントをやっています。AR-HITOKEは、そのような場で活用したサービスです。2010年頃に開発しました。ユーザーは実際のオフラインでの店舗で、AR-HITOKE のアプリを通して商品を見ると、上のVideoサムネイルにもありますが、その商品に人の形をしたアバターがうわーっと集まってくるのがわかります。このアバターを我々はHITOKE （ヒトケ）と呼んでいて、人が集まって、賑わっている様を表現するものとして用いています。HITOKEの数は、実際にこの商品を購入した人の数を表現しており、色は性別、色の濃さは世代を表しています。また、吹き出しは商品のレビューです。つまり、ユーザーは、商品にスマホをかざすだけで、この商品はどれぐらい人気なのか、どのようなセグメントの方が買われるのか、実際の使い勝手はどうなのか等も確認できて、ショッピングを楽しむことができます。これは、楽天の持つビッグデータとAR技術を組み合わせたソリューションになっており、ARはデータをわかりやすくユーザーに提示する手段として効果的であることを実際の実証を通して確認したわけです。

次に、AR-HITOKE の発展版として、デジタルサイネージバージョンの AR ソリューションを構築し、これもいくつかの物産展等で展開しました。

これは物産展で配られるチラシが、その物産展の地図の代わりになっており、チラシを設置されているカメラの下に置くと、デジタルサイネージ上にアバター（HITOKE）が表示され、どの出店店舗が今賑わっているかがわかるようになっています。このシステムのときは、POSデータをリアルタイムに近い形で反映させるようにして、実際の人気状況がその場で確認できます。またそれに加えて、各店のおすすめ商品が表示されたり、実際にネットで購入した方の感想も吹き出しで表示されるので、来場者の興味を喚起するとともに、各お店のこだわりや伝えたいぬくもりをユーザーに届けることもできます。情報やデータだけではない、ARはぬくもりやそれ以上のものが伝えれる手段ではないか、という気づきを我々はここから得ることもできました。

次に、ご紹介するのは、WebAR のソリューション 「お買いものパンダ ラッキーくじ」です。

このARソリューションは、店頭のQRくじをスキャンすることで、お買いものパンダが登場し、当たりかどうかを教えてくれて、応じたポイントをくれるというもの。ARを用いたO2Oでの手軽なプロモーションとして展開し、お買いものパンダの人気も手伝い、好評を博しました。これは、実際にARをビジネスへどう展開していくかの一つで、O2Oでのプロモーションあるいはこれを利用した広告というのはわかりやすい出口です。また、当たり外れを教えてくれるパンダのアニメーションがかわいい、ぬくもりがある、等で引き続き、ARの表現力をビジネスで活かすことについて考えさせられました。

この方向性は、今現在も次なる発展を狙っていて、例えばスポーツとARの組み合わせというのも試しています。例えば、2019年5月の楽天イーグルス主催の東京ドーム スーパーナイターで、AR アプリを展開します。これもぬくもりに通じるところがあるのですが、球場で選手を身近に感じてもらおうというサービスになっています。

スマホでのARというのだけではなく、デジタルサイネージとAR というのも次々に試していきました。

これはわかりやすい、誰もがパンダになれるAR。もちろんこれは技術的に容易につくれるもので、ARの利用シーンの探求のために、様々なイベントで類似のARソリューションを展開していきました。

このようなデジタルサイネージのARソリューションの次なる展開として行ったのが、スタイリングルームAR です。

以下に記事（記事内に解説Video）があります。これは近未来のスタイリングルームをコンセプトに、リモートでの接客とファッションコーディネートを実現するための提案として開発したものです。

スタイリングルームを体験するユーザーは、緑字の背景の前に立ち、リモートにいるショップスタッフからファッションコーディネートを受けます。

ポイントは、通常のデジタルサイネージARと異なり、現実と表示する情報の親子関係を逆転させている、というところです。通常のARは現実空間に情報がオーバーレイして表示します。つまり、現実空間が親（主）であり、情報が子（副）になるわけですが、これはそれが逆になっています。本来は主である現実空間における人物が切り取られ、その人物を、画面の様々なシーン、シチュエーションの中に登場させ、その中でおすすめする服装・スタイルの情報をオーバーレイしていく。これにより、親子関係が逆転し、ARでありながら、まるで VR のような Immersiveな、没入している感覚を味わうことができます。ぬくもりを伝えるのがARと前述しましたが、このプロジェクトにより、更にARは世界観をも伝える、その世界をユーザーに味わってもらうということが可能であるというのが見えてきました。

このスタイリングルームARは非常に好評を博し、企業情報化協会によるIT賞、デジタルサイネージコンソーシアムによるデジタルサイネージアワード等、いくつかの賞も受賞しました。また、ここから更に VR とも統合し、新しい接客の提案として展開していったのですが、その話はまた次のVR編の記事に譲りたいと思います。

このようなデジタルサイネージの逆転させたARと、前述した、くじアプリケーションでのプロモーションや広告という出口をあわせて、更に、AI による画像認識を組み合わせ、UmAI クーポン、UmAI くじ （うまいと、AI が組み合わさっている）というデジタルサイネージARソリューションを展開しています。以下は、幸楽苑様との共同プロジェクトの中での、UmAI くじの解説Videoです。

以下は、解説記事です。

こちらは、画像認識により、ユーザーの年齢・性別・感情等の状態を推定し、販売データとも合わせて分析することで、オススメのラーメンを表示する、またユーザーをラーメン画像の中に取り込んだ写真を印刷し、クーポンとして利用することもできるというプロモーションも兼ね合わせたサービスになっています。

これも逆転関係になっています。本来は主である現実空間における人物のシルエットを正しく認識して切り取ることで、その人物を、オススメの商品のラーメン画像の中に登場させています。ユーザーとラーメンが合わさった写真を印刷するというプロモーションともあわせて、よりユーザーの商品世界への没入感を高めているという特徴があります。技術的には、スタイリングルームARでは、緑地の背景の前に人が立っておりましたが、これは人物を認識して切り取っているため、スタイリングルームARのような閉鎖空間だけではなく、開かれた場所でも実施可能です。

このソリューションは、デジタルサイネージの逆転ARと、更には画像認識・状態認識からのAI技術を組み合わせたマーケティングということで、鋭意、他企画においても展開しており、ARソリューションの更なる発展を狙っていきたいと思います。

以上、AR編ということで、楽天技術研究所のARの取り組みをご紹介しました。この記事の、Take away としては以下のものがあります。

・ARは、データをわかりやすくユーザーに提示する手段として効果的
・ARは、ぬくもりやそれ以上のものが伝えれる手段
・ARは、世界観をも伝える、その世界をユーザーに味わってもらう

こういう特徴を活かしつつ、O2O プロモーション・広告としてソリューションを展開していけることが実際のビジネスにおける活用では大事になります。また、ここだけに留まらず、ARは、AI 技術やVR技術と組み合わせることでさらなる展開が狙えます。AI 技術との組み合わせは上述の UmAI くじの中で触れましたが、VR技術と組み合わせた次世代の接客については、次のVR編にてご紹介していきたいと思います。