Developers Summit 2018 FUKUOKA

1. VR/AR/MRって何？
2018/9/6 Developers Summit 福岡
―基本概念から利用事例の紹介―

2. 自己紹介
氏名：吉永崇(Takashi Yoshinaga)
所属：九州先端科学技術研究所(ISIT)
専門：ARの医療・土木・農業への活用
モーションキャプチャ技術の開発
コミュニティ：ARコンテンツ作成勉強会 主催

3. VR・AR・MRって？

4. VR・AR・MRって？

5. VRとは(1/2)
Virtual Realityの略。日本語で「仮想現実」や「人工現実感」
とも呼ばれる。ユーザの五感を刺激することで、本物ではないが
機能としての本質は同じような体験や環境を作り出す技術。

6. VRとは(2/2)
様々な感覚の刺激により仮想空間で本物のような体験ができる技術
視覚
環境
TACTOT触覚
嗅覚

7. VRで主に使われる刺激
人の知覚の割合は視覚が8割以上 (照明学会編 電気書院 1980)
視覚
環境
触覚
嗅覚

8. 元祖HMD(Head Mounted Display)
1968, by Ivan Sutherland

9. VR元年(2016年)前後に一般に広く普及

10. HMDの普及
HMDの低価格化・簡便化・高性能化により、ここ3~4年で広く普及
¥39,800 ¥100~
¥8,400K
10年前
約¥35,000
Oculus Rift DK1
Google Cardboard

11. VRヘッドセット(HMD)の動向①
HTC Vive Windows MR
[特徴]
 自分の足で空間を自由に歩き、手を使ってCGを操作
• HTC Vive：部屋に計測器を設置して位置・角度を取得
• Windows MR : HMDにセンサを搭載して位置・角度を取得
 映像の生成ためにハイスペックなPCとの接続が必要

12. VRヘッドセット(HMD)の動向②
[特徴]
 スタンドアロン型のためVRの体験にケーブルや外部PCが不要。
• Oculus Go：視点は頭の向きにのみ追従。 (3DoF)
• Mirage Solo:視点は頭の向きと位置に追従 。 (6DoF)
• Oculusから6DoF対応のSanta Cruzも発売予定(2019年?)
Oculus Go Mirage Solo

13. 動作例：Windows MR
仮想空間でオブジェクト操作や移動はもちろん、アプリの操作も可能

14. VRの事例紹介

15. VR活用事例①：トレーニング
様々なシチュエーションを想定した体験が可能。
何度でも失敗できるので防災/医療/運転・操縦の訓練に最適。
引用元： MXモバイリング株式会社

16. VR活用事例②：アミューズメント
攻殻機動隊ARISE @VR ZONE新宿

17. VR活用事例②：アミューズメント
攻殻機動隊ARISE @VR ZONE新宿
「現実ではできない体験」を「複数の人数」で共有することが可能

18. VR活用事例③：遠隔コミュニケーション
仮想空間でコミュニケーション。NEUTRANS, OculusRoom, VRChatなど
引用元： ITmedia NEWS (http://www.itmedia.co.jp/news/articles/1805/08/news092.html)

19. VR・AR・MRって？

20. ARとは(1/2)
Augmented Realityの略。日本語で「拡張現実感」
とも呼ばれる。デジタルな情報(CG,音,etc..)を現実空間に
付加する技術全般を指す。特に視覚情報の付加が主流。

21. ARとは(2/2)
そこに存在しない物を、あたかも存在するかのように見せる技術
CG

22. ようするに
引用元： http://pokemongo.nianticlabs.com/ja/

23. ARのイメージが分かったところで・・・
MRは？

24. MRとは
 Mixed Realityの頭文字からくる略語
 現実空間と仮想空間を混合する技術全般を指す
 現実>仮想の場合をAugmented Reality(AR)
 仮想>現実の場合をAugmented Virtuality(AV)
※Virtual Reality(VR)と表現される場合も多い

25. What is Mixed Reality? (by Microsoft)
引用元： https://docs.microsoft.com/ja-jp/windows/mixed-reality/mixed-reality
(2018/03/21)

26. AR技術の普及：ARToolKitの流行
1999年に加藤博一氏(現、奈良先端大 教授)により発表
正方形の枠と内側の絵を組み合わせたマーカーを使用
必要なものはPC、Webカメラ、紙に印刷したマーカのみ
2007年前後に技術者・愛好家の間で一気に広まった

27. AR技術の普及：スマートフォンの登場
 スマホの普及・高性能化により誰もがARを体験可能
 販売促進やゲーム、観光分野でのコンテンツが増加
 スマホで使われるARのスタイルは大きく分けて2種類
• 画像中の目印(マーカー)を検出してその上にCGを表示
• GPSを使って現在地に紐づいた情報を表示
GPSベースのAR画像処理ベースのAR

28. 次世代ARツールの登場(2016年~)
[特徴]
 空間の3次元情報を把握し自分の位置や向きを推定
 GoogleはARCore, AppleはARKitというモバイル端末用
のARプラットフォームを提供
 Microsoft HoloLensなどのAR専用デバイスが登場
Microsoft HoloLensARCore / ARKit

29. 次世代ARツールの登場(2016年~)
ARCore / ARKit Microsoft HoloLens
[特徴]
 空間の3次元情報を把握し自分の位置や向きを推定
 GoogleはARCore, AppleはARKitというモバイル端末用
のARプラットフォームを提供
 Microsoft HoloLensなどのAR専用デバイスが登場

30. スマホARの動向
 空間にCGを配置し、自由な位置・向きから観察できる
 壁や床の認識も可能なためCGと空間の相互作用も表現可能

31. スマホARの動向
Webブラウザでの動作をサポートを開始
【メリット】
 WebとARの切り替えがシームレスに
- 文章や映像を用いるより立体感や
サイズ感を直感的に提示しやすい
- ECサイト等の表現の幅が広がる
 アプリをダウンロードが不要
⁃ ARの体験が手軽になる
 背景をカメラの映像でなく仮想環境
に置き換えればVRコンテンツも可能

32. 次世代ARツールの登場(2016年~)
ARCore / ARKit Microsoft HoloLens
[特徴]
 空間の3次元情報を把握し自分の位置や向きを推定
 GoogleはARCore, AppleはARKitというモバイル端末用
のARプラットフォームを提供
 Microsoft HoloLensなどのAR専用デバイスが登場

33. アプリケーション
ウィンドウ
3Dオブジェクト
Microsoft HoloLens
HoloLensとは
 Microsoft社が発売した次世代型ウェアラブルコンピュータ
 コンピュータを内蔵し,単独で動作 (OS: Windows)
 マーカー画像を用いず、空間にオブジェクトを配置可能
ジェスチャ操作

34. HoloLensの動作の様子

35. AR/MRヘッドセットの動向：デバイスの種類
各社からデバイスが続々登場
 PC接続型： Meta2, Project North Star
描画処理等をPCが行うので高負荷なコンテンツも動かしやすい
 スタンドアロン型：HoloLens, Magic Leap
ケーブルがないので自由に動けるが、処理性能はデバイス次第
Project
North Star
Meta2 Magic Leap

36. AR/MRヘッドセットの動向：光学シースルー
カメラ画像ではなく
人の目で見た風景
CGのみ重ね合わせ

37. AR/MRの事例紹介

38. AR活用事例①：展示物の拡張
ミイラ内部の骨格のX線画像を重ねて表示し展示物の詳細解説

39. AR活用事例②：医療支援

40. AR活用事例②：医療支援
医療等の作業支援の場合、HMDを使うと手が自由になり非常に便利
https://youtu.be/zI8S49qpiOs

41. AR活用事例③：機械の保守とIoT
作業支援情報やリアルタイムデータを対象物に重ねて表示
引用元：http://monoist.atmarkit.co.jp/mn/articles/1808/02/news026.html

42. AR活用事例④：メディアとの融合
2018年3月に日本テレビが「クリエイティブテクノロジーラボ」でHoloLensを用いてデモ
引用元：日テレ公式チャンネル https://youtu.be/6T7kGwzQsd4

43. AR活用事例⑤：AIとスポーツ観戦の3D化
Deep Learningにより動画の各フレームから選手を抽出し3次元化
引用元： https://japan.cnet.com/article/35121221/

44. AR活用事例⑥：空間共有
環境情報をサーバーで管理し端末間で共有することでAR体験を共有
Cloud Anchors:
https://developers.google.com/ar/develop/unity/cloud-anchors/overview-unity

45. AR活用事例➆：名刺の拡張
引用元： https://youtu.be/Jq98OEXJSr8
動く物体に情報を追従させて表示する場合はマーカーベースが有効

46. VR/AR/MR開発

47. 体験から開発へ
Zappar
A-FrameVuforia
ARToolKit ENTiTi
AR/VRの体験は身近になったけど自作は難しいと思われがち
でも実際は…
各種開発ツールを使えば誰でも手軽に開発を始めることが可能
Unity
CGを表示するだけならノンプログラミング～数行のコード

48. おすすめ開発ツール①：Unity
 マルチプラットフォーム対応のゲームエンジンおよび開発環境
 GUI上で視覚的にCGを配置したり機能を追加したりできる
 C#によるプログラミングで細かい挙動も記述可能
 アセットストアで高品質なCGやアニメーションを入手できる
 ほとんどのAR/VR関連のSDKがUnityに対応

49. おすすめ開発ツール②：A-Frame
 Webブラウザ上で3D表現を簡単に実現するためのライブラリ
 HTMLのタグを書くだけで3Dオブジェクトを配置できる
 Firefox、Chromeなど主要なブラウザがWebVR対応を表明
 Windows MRやHTC ViveなどのHMD、スマホVRにも対応
 他のライブラリと組み合わせればARも実現できる (開発途上)

50. 基本サンプルのコード
Hello WebVRに関する記述 (たったこれだけ！)

51. ARコンテンツ作成勉強会の紹介
 2013年5月に勉強会をスタート
 ARコンテンツの作り方をハンズオン形式で学ぶ
 人数は5~10名程度の少人数で実施
 参加条件はAR/VRに興味がある人(知識不要)
 各地で開催 (福岡、熊本、宮崎、長崎、大分、広島、関東)

52. Twitterと勉強会ページで情報を発信しています
#AR_Fukuoka Googleで「AR勉強会」で検索

53. ご清聴ありがとうございました
スマホARやHoloLensのデモできます。この後や懇親会でお声がけください！