ITエンジニアのための勉強会・イベントレポート情報メディア

VR/AR/MR × Life Science MeetupでVR/AR/MRのハンズオンデモ体験!
event

VR/AR/MR × Life Science Meetupで
VR/AR/MRのハンズオンデモ体験!

2017.09.25

 
  • このエントリーをはてなブックマークに追加

VR(仮想現実)、AR(拡張現実)、MR(複合現実)は、IoTやディープラーニングと並ぶ注目の先端技術です。ゲームやアトラクションなどのエンタテインメントの話題が先行しがちですが、医療の現場ではすでに実用化され始めているそうです。その話題のVR/AR/MRを体験できるイベントに行ってきました。

Misa

本日の会場は六本木のアーク森ビル内のTechShop Tokyoです。TechShopは、木工、金属加工、テキスタイルなどの、ものづくりのためのDIY工房。レーザーカッター、3Dプリンターなどの工作機械や各種ソフトウェアが揃っていて、趣味のものづくりから業務用品まで幅広くサポートしてくれます。スタートアップ支援のためのコミュニティや研修も充実。

TechShop の作業スペースの一角に設けた会場は、満席となっていました。主催者代表の谷口さんのご挨拶からイベントがスタート。

Holoeyes, Inc CEO兼CTO 谷口直嗣氏

VR/AR/MRビジネストレンド

海外のファンドなどが発表したデータをもとにした、VR/AR/MRビジネスのトレンドに関するお話です。

Holoeyes, Inc取締役兼CSO 新城健一氏

2017年の第四半期はデバイス分野が成長を牽引し、デバイスを活用したサービスをつくろうとする人がSDKを活用している、サービスをつくる黎明期であると言えます。
2016年のVR/AR事業への投資は、ARのHMD(ヘッドマウントディスプレイ)分野がもっとも大きく、ソリューション・サービス、ビデオが続き、かなり縮小した金額がVRのHMDに投資されました。時代はVRからARへと移行していると考えられます。

投資額の分布から、広告やeコマースでの活用、それに付随するモバイルデータ通信の拡大、さらに、In-App Purchase (アプリ内課金)やエンタープライズBtoBのビジネスモデルの登場が予想できます。VRを広告利用するためのプラットフォームを提供するサービスがあり、IKEAやeBay、Alibabaなどのeコマース、アパレルや自動車のショールームなどの実店舗で導入されています。

新城さん自身は、「事業とはフィクションをノンフィクションにすること。まだ存在しないものを創造し、現実のものにするのが次の時代をつくっていく企業であり、新しいビジネスはユーズドテクノロジーフィクションとテクノロジーフィクションの間に存在する」と考えています。

新ビジネスの立ち上げに関心を持っている来場者に向けて、「各分野のどこでVRが活用できるのか、自分たちが持っているサービスや技術とどう組み合わせるのか、サービスや製品だけでなく、ビジネスモデルから考えるべき」、という新城さんからのアドバイスでお話は終了しました。
Holoeyesは医療分野で財政を圧迫する健康保険に依存しない商流をつくることを考えているそうです。

VR/AR/MRライフサイエンス活用事例

続いてライフサイエンスにおけるVR/AR/MRの活用事例です。杉本さんは現役の外科医で、ユーザー、開発者、起業家の立場からVR/AR/MRに関わっていらっしゃいます。

Holoeyes, Inc 取締役兼COO 杉本真樹氏

「レントゲンは、3次元である人間の体を、奥行きを認識できない2次元の画像データに置き換え、3 次元の外科手術で利用するという遠回りをしている」というお話から始まりました。

3次元を認識する感覚には個人差があり、画像処理に「自分」という要素を加え、視覚や聴覚だけでなく、あらゆる感覚を統合して理解する「空間認識」を取り入れることが重要です。Holoeyesの「3次元である人体の構造を3次元で直感的に体感する」というコンセプトはごく自然なことだと考えています。

レントゲンをドット(点画)のデータから立体化する方法はデータが重く、計算や処理にかかる時間や手間が負担になるので、見たい部分の臓器などの形を抽出してポリゴン(CGなどで立体物のデータ化に使用する多角形)化する方法を考えました。レントゲンのDICOM形式のデータから臓器の形を抽出してポリゴン化することで、レントゲンの粗い画像もポリゴンの座標によって埋めることができます。
3Dプリンターでの活用は、コストの問題で実用化が難しかったのですが、VRは座標があれば、ノートパソコンでも利用することができ、画像の中に入っていく体験ができます。

Holoeyesの「VR OBJ Viewer」は、レントゲンからポリゴン化したOBJファイルをVRで見るアプリです。加速度センサーや位置情報センサーを搭載したHTC Viveヘッドセットを使って、顔が動いた方向にデータが動くという360度の画像を見ることができます。

Virtual Reality(仮想現実)

視覚や聴覚などの五感以外の感覚を刺激し、人間には感知できない超音波や磁場、赤外線などの感覚器として代用することで新しいVirtual Realityが広がる可能性があります。

<VRの活用例>
VRを手術でGPSのカーナビのように使用。患者さんの体内の地図があれば、より正確な手術ができます。すでに一部は保険診療の対象になっています。

  • ・実際の手術と同じ環境でVRによる手術体験   → 手術の予行実習
  • ・経験豊富な教授が行った難しい手術をVRで再現 → 教育、体験の共有
  • ・実際の手術をシミュレーションする       → 手術内容の検証

Augmented Reality(拡張現実)

マーカ上に立体画像を表示し、VRと現実をあわせた感覚を体験できます。

<ARの活用例>
富士通の「zSpace」(3Dデータを立体的に表示するVRディスプレイのオールインワンシステム)と3D専用のビューアーソフトウェア「FZViewer」を組み合わせて、モニターからデータを取り出すように表示できます。モニターの範囲内に限定されますが、患者さんの体の上に本人の画像を投影して、比較しながら手技を行うことができます。

  • ・子供たちへの体験教育
  • ・遠隔地との情報共有  など

インターフェイスが直感的でわかりやすく、アメリカの教育機関では多数導入。日本でも教育や建築、デザイン分野に導入されています。

クロマキー合成のARでは、グリーンバックなどの背景にデータと座標計を合成し、体験している人の視界をモニターに映します。通過するカメラの位置情報をセンサーで測り、手前のデータは上に重ね、後ろのデータは後ろに隠すことで奥行き感を出します。

Mixed Reality(複合現実)

ARの代表格である『ポケモンGO』ですが、GPS情報には縦の空間の情報がないため、エラーが発生しやすかったようです。ARと異なり、MRはデータと現実との間に整合性があって、ヴァーチャルとリアルをあわせたイメージです。

MR用のゴーグルは、マイクロソフト社のHoloLensが比較的手に入れやすいですが、低価格帯の製品も出てきています。
センサーを使って中から外へ位置情報を計測するInside-Out方式で、カメラと各種センサーを左右に搭載し、絶えず位置情報を検出。最初に空間の地図を立体で描き、そこから自身がどれだけ動いたか、地図上のどこに画像を表示するかを計算します。

Holoeyesが開発したアプリ「Holoeyes MR」は、患者さんの臓器を空中に投影し、ジェスチャーひとつで、移動や拡大・縮小などがコントロールできます。手術中に使用することを想定して小さな範囲で完結できることと、反応の速さを念頭においてインターフェイスをデザインしました。対象データの入れ替えや、Webサービスでデータをアップロードすることにより、ポリゴン化してMRにできる仕組みをつくっています。

<MRの活用例>
実際の手術では、患者さんのデータをUnityベースで開発した環境に入れてVisual Studioなどを使い、HoloLensにHoloeyes MRアプリをダウンロードして使用しています。内視鏡モニターと並べてMRを投影し、患者さんの体と比較しながら手術するなど、複数の人間が同じ位置に同じものを見ることができる機能などを生かし、さまざまな場面で活用されています。

  • ・大人数へのデモや講義(80人以上のシェアリングに成功)
  • ・手術前の検討会
  • ・手術の録画
  • ・医学生が豚肉に肝臓のデータを投影して縫合を練習する  など

「データの中で自分が動ける、立ち上がって様々な角度から見ることでき、ジェスチャーひとつで快適に動かせる」ということが有用なポイントです。

Holoeyesが開発したアプリの一部はスマートフォンでも提供されています。「VR Body Guide」や「VR OBJ Viewer」は無料でダウンロード可能。データにスマートフォンをかざすと立体で見ることができ、体の向きにあわせて動きます。段ボール製のゴーグルは100円均一ショップでも手に入れることができます。

エンジニアと医師が起業したHoloeyesは、AIやディープラーニングを利用して患者のデータをセグメンテーションし、各種端末で閲覧できるサービスを展開。ポリゴンデータのDICOMを配布するシステムで特許を取得しています。見せるだけでなく、触る感覚などを体験させてくれるVRによって、健康やライフサイエンスがより身近になります。

「VR/AR/MRを、単語本来の『実在』だけでなく『意義のあるもの』という意味合いで“Actuality”と総称するとよいと考えています。VR/AR/MRが人間そのものを拡張するのではないでしょうか」という結論で、杉本さんはまとめられました。

Unityを使ったVR/AR/MRビジネスモデルの新提案

休憩を挟み、ゲーム開発エンジンUnityを活用したVR/AR/MRビジネスモデルのお話です。

ユニティ・テクノロジーズ・ジャパン合同会社 エバンジェリスト 伊藤 周氏

Unityのデモでスタート。CAD データをポリゴン化する「Unity CAD Importer」に、CADデータをドラッグアンドドロップして画像の粗さを設定します。

自動的にポリゴンがつくられ、開始から約3分でHoloLensにVRのギターが表示されました。

この作業が一般の人にはやや敷居が高いという点と、Unityが非ゲームの分野で抱える課題を解決するのが、クラウド上でUnity Editorを自動で動かす「Unity on Cloud」です。

エンドユーザーの要望に応じて、開発者がクラウド上のUnityを更新し、ユーザーの環境が自動的に更新されます

さらに簡素化して、エンドユーザーがカスタマイズの要望をクラウドにあげるとUnityが自動更新、ユーザーの環境を即更新することも可能です。いずれも、開発者はメンテナンスのみ対応します。

実際の事例では、クラウド上のUnityに、エンドユーザーがCADデータをアップロードし、変換されたデータをダウンロードしてHoloLensで見ています。エンドユーザーはアップロードするだけでUnityの機能を利用。ITの知識がない人も利用できれば、医療、土木、住宅販売に普及できると考えています。(注:UnityのCloud利用は別途ライセンスが必要)

クラウド上の自動化された仕組みにより、継続的に収益を生むビジネスモデルをつくることができる……新ビジネスのイメージが広がりそうですね。

VR/AR/MRを体験!ハンズオンデモ

講演の後はハンズオンデモです。来場者は各社のコーナーを自由にまわって、医療分野のVR/AR/MRを体験しました。

  • •Holoeyes VR(株式会社Holoeyes) Viveで人体や臓器内をVR体験
  • •Holoeyes MR(株式会社Holoeyes) HoloLensで人体や臓器内をMR体験

破損した脊椎にボルトを入れて修復するシミュレータを展示しています。

•Holoeyes AR (株式会社デジタルガーデン)
Holoeyes ARアプリを使い、人体や臓器内のARが体験できます。グリーンバックでクロマキー合成した映像をモニターで閲覧できます。

•OBJ VR Viewer(株式会社ボーンデジタル、オートデスク株式会社)
CTスキャンのDICOMのデータをOsiriXでOBJというファイルにして、OBJ VR Viewerに渡すと自動的にVRデータに変換。そのままHMDで人体内のVR体験ができます。

•脳科学 STEM教材 (株式会社加藤文明社印刷所)
zSpace(富士通)を使った脳科学を勉強するためのVRアプリケーション。脳波を計測するアプリケーションと連携していて、VRを体験しながら自分の脳の動きを見ることができます。

•Heart Simulation Viewer (富士通株式会社)  2017年下期発売予定
スパコン京でシミュレートした心臓ビューアー。CT画像から形状を起こし、心電図や医師の観察データを導入して心臓の挙動を再現しています。シミュレーションの値、zSpace を使った構造の理解など、学習に活用できます。

エンタテインメントから医療、さらなる発展も

ライフサイエンス、医療の現場でVR/AR/MRが予想以上に普及していることを知りました。「ゲーム業界での普及がハードウェアの低価格化、高機能化を促進し、導入しやすくなった」というお話がとても興味深かったです。一見、かけ離れた分野の先端技術が新しい可能性に広がるのですね。
VR/AR/MRの今後のさらなる発展に、期待が高まります!

原稿: Misa
ITベンチャーで企画、人材開発、広報などを経て独立。現在はコンサルタント、ときどきライター。
ライターとしては、IT系以外、アニメ・マンガ、車から美容・健康まで何でもチャレンジ中。

VR/AR/MR × Life Science MeetupでVR/AR/MRのハンズオンデモ体験!

この記事はどうでしたか?

おすすめの記事

キャリアを考える

BACK TO TOP ∧

FOLLOW