NSStudy HoloLens

8月23日、ネクストスケープ社が主催するセミナー「NSStudy #12」に参加してきました。毎回最新のトピックを取り上げるNSStudy、今回のテーマは「HoloLens」に代表されるマイクロソフトの仮想現実への取り組みである「Mixed Reality」。日本マイクロソフト髙橋忍氏による「Mixed Realityがもたらす世界」と題したセッションをレポートします。

鶴田展之

Mixed Realityがもたらす世界

■MRとは

仮想現実というと「VR（Virtual Reality）」「AR（Augmented Reality）」といったキーワードがおなじみですが、マイクロソフトでは「Mixed Reality（MR）」つまり「物理的な世界と仮想世界を融合する技術」と考えています。物理世界では、人間は目や耳、鼻、皮膚といった感覚器官を通じて現実世界を認識しています。VRではこれを逆手にとり、感覚器官（主に視覚）に情報を流し込むことによって仮想的な現実を認識させています。MRは、この「現実を認識する」ことと、「仮想現実を認識する」ことを融合させるもの、と考えられます。また、ARの場合は、単にディスプレイのスクリーン上に「情報」を重ね合わせるだけですが、MRではスクリーンの向こうに現実の3D空間の位置情報をもってレンダリングを行います。具体的には、物理空間に「椅子」があれば、MRではその椅子の上に「情報」としてのオブジェクトを「載せる」ことができます。現実世界の椅子をどかせば、オブジェクトが「下に落ちる」わけです。とはいえMRとAR/VRは根本的に異なるわけではなく、視点と物理・CGの割合が異なるだけとも言えます。マイクロソフトでは、その割合によって最適なデバイスを提供することで、AR/VRを包含するサービスとしてMRを考えているそうです。

■MRを実現するデバイス

現在、マイクロソフトが提供するMRデバイスには2つの方向があります。ひとつは、いわゆるHMD。VRヘッドセットで、Acer、HP、ASUS、DELL、Lenovoの各社から発売されます。これらのHMDはPCと接続して使用する前提で、価格も4万円前後です。そしてもうひとつが、ウェアラブルなMRデバイスとしてスタンドアロンで動作する「HoloLens」です。

HoloLensはそれ自体が独立したコンピュータなので、たとえばPSVRのような「自分の動きを認識させるためのカメラや外部センサー」を必要としません。つまり、ワイヤにつながれた状態のVRとは異なり、自由に歩き回れる、ということです。HoloLensの操作は、もっぱら音声と「ジェスチャ」。ユーザーの身振り（ジェスチャ）を額中央のカメラと左右の赤外線センサーで認識し、与えられた命令を認識する仕組みです。キーボード、マウス、タッチパネルといった入力デバイスが無いので、両手は完全に自由になります。たとえば、手術を行う医師が手を滅菌した後や、手がふさがると危険な高所等の現場など、これまでタブレットやPCの利用が難しかったシーンでも活用できる点で、まったく新しいサービスを生み出せる可能性をもったデバイスといえるでしょう。

Mixed Realityアプリケーションの開発

さて、デベロッパーとして気になるのは、HoloLens向け、またはHMD向けのMRアプリケーションの開発環境です。HMD、HoloLensのアプリケーションは、8割方共通化されていますが、HoloLensに関しては「Windows Holographic Edition」上で動作させるため、UWP（Universal Windows Platform）アプリケーションのみが動作します。

開発環境は、アプリケーションが「2D」か「3D」かによって、大きく2つに分かれます。2D開発では、C#、VB、HTML5、C++を利用し、仮想空間内に複数のウィンドウを表示するアプリケーションが開発可能です。3Dアプリケーションは、Unity、Visual Studio 2017または2015 + Windows SDK、DirectXを用いて開発します。マイクロソフトからはMRアプリ開発に必要な様々な機能がMixed Reality Toolkit for Unityとして提供されるので、Unityに慣れた開発者であればMRアプリ開発のハードルはさほど高くなさそうです。また、HoloLensエミュレータも提供されるので、実機がなくてもある程度の動作検証はできるでしょう。

なお、Unityを使った3Dアプリの開発では、MRアプリは「Windows10向け」としてビルドします。UnityからはVisual Studioプロジェクトが生成されますので、そこからVisual StudioでUWPアプリとしてビルドするという2段階の工程が必要になるそうです。ストレスなく快適にビルドを行うには、できるだけハイパワーなPCを用意しておいたほうがよさそうです。ちなみに、開発に必要な最低限のスペックは、CPUが4コア以上、メモリが8GB以上とのことです。

感想

VRに関心があってPSVRやOculus Riftも試しましたが、やはりケーブルに縛られていることとHMDの装着感があるので、なかなか「没入する」までの体験は難しいのだな、と感じていました。また、HMDで100% CGの世界を眺めるのは、ゲームや映像コンテンツを楽しむ用途ならばよくても、日常生活を便利にしたり、仕事に役立てたりといったソリューションに結びつけるのは難しいように思います。そういった点で、MR、HoloLensで現実空間と仮想空間を上手に重ね合わせるという発想は、とても未来的で今後が楽しみな技術だと感じました。HoloLensは多少高額（33万円〜）ですが、すでに入手も可能なので、一足早く未来的な体験をしてみたい方、面白いMRアプリのアイデアがある方は、思い切って購入してみてはいかがでしょう？