SlideShare ist ein Scribd-Unternehmen logo
1 von 15
Downloaden Sie, um offline zu lesen
ARラジコン開発中 -その2-
2021/03/19 【オンライン】xTech ゆるっとLT: ROS Kyushu UG and AR_Fukuoka
hiro-han
自己紹介
札幌でAI x IoTシステムの開発マネージャーやってます
自動運転とか@東京 (9年) → AI x IoTシステム@札幌 (1年半)
➢ c++, pythonなど
AI、IoT、xRなどを組み合わせて遊びたい人
➢ RaspberryPi, Arduino, RealSense, OculusQuest2, ROSとかで遊んでます
➢ AI(Tensorflow, Pytorch)は最近あまりやってない
今日は2020/12にAR Fukuoka主催のLTで発表した開発の続きです
@hiro-han
Qiita: https://qiita.com/hiro-han
モチベーション
オフィスでARマ○カーをやりたい!
● ラジコンにカメラ載せて、VRゴーグルに画像
表示してオフィスを走らせる
● アイテム表示したり、オフィスの風景に自動で
テクスチャを表示したり
○ オフィスの壁がク○パ城になったら面白い
作ったもの
● OculusQuest2でカメラ画像表示、ラジコン制御
● OculusQuest2のヘッドセット向きに合わせてカメラ回転
● ラジコンの移動合わせてVR空間移動
○ オブジェクトとカメラ画像を重ねてARっぽく
● ROSを使ってアプリ開発
Arduino Uno
Raspberry Pi 4 Model B / 8G
Raspberry用広角カメラ
タミヤラジコン
モバイルバッテリー
サーボモータ
RealSense T265
OculusQuest2との連携
Unityアプリで簡単にROSと連携できるROS#を使用
最新のv1.6をOculusQuest2で動かしたら、少し修正を加えないと動かなった
● PublisherのStart()内で、RosConnectの初期化に失敗
● アプリ起動時のタイミング問題?
すごくARアプリっぽくなった(気分)!
解像度は高くなったし、別にコントローラを使わなくてよくなった
ただし、コントローラが小さいので、ラジコンのコントロールがピーキーに...
ARをどうやる?
OculusQuestはカメラ画像をテクスチャ表示しているだけ
● スマホのARアプリみたいに画像処理?
○ 平面や立体を検出しないといけない
○ 処理も大変そう
まずは簡単な方法を試すことに
ラジコンの移動にあわせてVR空間を移動、VR空間のオブジェクトを表示し
て、カメラ画像を背景にしてみる
VR空間の移動
ラジコンの位置を推定して、OculusQuest2に送る必要がある
SLAMをraspiで動かすのは処理負荷がやばそう
RealSense T265をラジコンに載せて位置取得
OVRCameraRigを動かす!
結果
結果
● VR空間を走ることができた!
● でも微妙だった
○ オブジェクトの影が画像上にできてしまう
○ 画像の位置をもう少し遠くにしないと、急にオブジェクトが現れる
■ オクルージョン無視
○ 床面とオブジェクトの下面がずれると違和感
● 広角カメラにしたので、画像転送の遅延が顕著になった
これから
● オブジェクトの位置、画像位置の調整
● 転送速度の改善
○ nodelet
○ WebRTC
○ ROS TCP Connector
● そもそもARのやり方を変える?
○ 画像処理(ARCore)
○ 3Dセンサを使う(RealSense D435i)
● Unityと組み合わせてシミュレーションとか
● AIと組み合わせて強化学習とか
ありがとうございました!
おまけ
カメラの変更
Raspi カメラ
Raspi 用広角カメラ
Raspiカメラは視野角が狭いため、広角カメラに変更
→臨場感がアップ!
62.3x48.8度 160度
ROS#の変更点
try catch 追加
これを追加しないと、messageの初期化に失敗する
rosConnectorと、publicationIdの初期化を追加
UnityPulisher.cs
構成

Weitere ähnliche Inhalte

Was ist angesagt?

SORACOM UG Explorer 2019 スポンサーLT
SORACOM UG Explorer 2019 スポンサーLTSORACOM UG Explorer 2019 スポンサーLT
SORACOM UG Explorer 2019 スポンサーLTIchiro Tsuji
 
ZENKEI AI FORUM 2019 #4
ZENKEI AI FORUM 2019 #4ZENKEI AI FORUM 2019 #4
ZENKEI AI FORUM 2019 #4Kengo Ichiki
 
アグリゲート・コンピューティング風IoTでの戦い方
アグリゲート・コンピューティング風IoTでの戦い方アグリゲート・コンピューティング風IoTでの戦い方
アグリゲート・コンピューティング風IoTでの戦い方Takeshi Mikami
 
オフィスライフについて本気出して考えてみた
オフィスライフについて本気出して考えてみたオフィスライフについて本気出して考えてみた
オフィスライフについて本気出して考えてみたYuka Tokuyama
 
2018/12/5 SIerIoTLT vol.13 by kitazaki
2018/12/5 SIerIoTLT vol.13 by kitazaki2018/12/5 SIerIoTLT vol.13 by kitazaki
2018/12/5 SIerIoTLT vol.13 by kitazakiAyachika Kitazaki
 
加速するIoTの社会実装! スマートxxで世の中はどう変わる?
加速するIoTの社会実装! スマートxxで世の中はどう変わる?加速するIoTの社会実装! スマートxxで世の中はどう変わる?
加速するIoTの社会実装! スマートxxで世の中はどう変わる?Ichiro Tsuji
 
いおたんFA業界に殴り込み
いおたんFA業界に殴り込みいおたんFA業界に殴り込み
いおたんFA業界に殴り込みIchiro Tsuji
 
クラウドお遍路2018「いおたんとAWSとIoTと」
クラウドお遍路2018「いおたんとAWSとIoTと」クラウドお遍路2018「いおたんとAWSとIoTと」
クラウドお遍路2018「いおたんとAWSとIoTと」Ichiro Tsuji
 
EnOcean × Node-REDで簡単・本格IoT
EnOcean × Node-REDで簡単・本格IoTEnOcean × Node-REDで簡単・本格IoT
EnOcean × Node-REDで簡単・本格IoTAkiyuki Yoshino
 
IoTバカ、自動運転車を買う
IoTバカ、自動運転車を買うIoTバカ、自動運転車を買う
IoTバカ、自動運転車を買うIchiro Tsuji
 
IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7
IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7
IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7Kohei MATSUSHITA
 
20171105 go con2017_lt
20171105 go con2017_lt20171105 go con2017_lt
20171105 go con2017_ltKeigo Suda
 
僕たちが考えた最強のIoT
僕たちが考えた最強のIoT僕たちが考えた最強のIoT
僕たちが考えた最強のIoTIchiro Tsuji
 
TensorFlowで遊びながら学んだ、はじめてのLED点滅
TensorFlowで遊びながら学んだ、はじめてのLED点滅TensorFlowで遊びながら学んだ、はじめてのLED点滅
TensorFlowで遊びながら学んだ、はじめてのLED点滅Takeshi Mikami
 
20161112 IoTLT広島xpyconmini
20161112 IoTLT広島xpyconmini20161112 IoTLT広島xpyconmini
20161112 IoTLT広島xpyconminiMitsuaki Ando
 
「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"
「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"
「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"Kohei MATSUSHITA
 
awsでIoTを楽しんでる話
awsでIoTを楽しんでる話awsでIoTを楽しんでる話
awsでIoTを楽しんでる話Saito5656
 
160531 IoT LT #15 @ 日本IBM
160531 IoT LT #15 @ 日本IBM160531 IoT LT #15 @ 日本IBM
160531 IoT LT #15 @ 日本IBMToshiki Tsuboi
 
ZENKEI AI FORUM 2019 #2
ZENKEI AI FORUM 2019 #2ZENKEI AI FORUM 2019 #2
ZENKEI AI FORUM 2019 #2Kengo Ichiki
 

Was ist angesagt? (20)

SORACOM UG Explorer 2019 スポンサーLT
SORACOM UG Explorer 2019 スポンサーLTSORACOM UG Explorer 2019 スポンサーLT
SORACOM UG Explorer 2019 スポンサーLT
 
ZENKEI AI FORUM 2019 #4
ZENKEI AI FORUM 2019 #4ZENKEI AI FORUM 2019 #4
ZENKEI AI FORUM 2019 #4
 
アグリゲート・コンピューティング風IoTでの戦い方
アグリゲート・コンピューティング風IoTでの戦い方アグリゲート・コンピューティング風IoTでの戦い方
アグリゲート・コンピューティング風IoTでの戦い方
 
オフィスライフについて本気出して考えてみた
オフィスライフについて本気出して考えてみたオフィスライフについて本気出して考えてみた
オフィスライフについて本気出して考えてみた
 
2018/12/5 SIerIoTLT vol.13 by kitazaki
2018/12/5 SIerIoTLT vol.13 by kitazaki2018/12/5 SIerIoTLT vol.13 by kitazaki
2018/12/5 SIerIoTLT vol.13 by kitazaki
 
20210906 SD#28 kitazaki
20210906 SD#28 kitazaki20210906 SD#28 kitazaki
20210906 SD#28 kitazaki
 
加速するIoTの社会実装! スマートxxで世の中はどう変わる?
加速するIoTの社会実装! スマートxxで世の中はどう変わる?加速するIoTの社会実装! スマートxxで世の中はどう変わる?
加速するIoTの社会実装! スマートxxで世の中はどう変わる?
 
いおたんFA業界に殴り込み
いおたんFA業界に殴り込みいおたんFA業界に殴り込み
いおたんFA業界に殴り込み
 
クラウドお遍路2018「いおたんとAWSとIoTと」
クラウドお遍路2018「いおたんとAWSとIoTと」クラウドお遍路2018「いおたんとAWSとIoTと」
クラウドお遍路2018「いおたんとAWSとIoTと」
 
EnOcean × Node-REDで簡単・本格IoT
EnOcean × Node-REDで簡単・本格IoTEnOcean × Node-REDで簡単・本格IoT
EnOcean × Node-REDで簡単・本格IoT
 
IoTバカ、自動運転車を買う
IoTバカ、自動運転車を買うIoTバカ、自動運転車を買う
IoTバカ、自動運転車を買う
 
IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7
IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7
IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7
 
20171105 go con2017_lt
20171105 go con2017_lt20171105 go con2017_lt
20171105 go con2017_lt
 
僕たちが考えた最強のIoT
僕たちが考えた最強のIoT僕たちが考えた最強のIoT
僕たちが考えた最強のIoT
 
TensorFlowで遊びながら学んだ、はじめてのLED点滅
TensorFlowで遊びながら学んだ、はじめてのLED点滅TensorFlowで遊びながら学んだ、はじめてのLED点滅
TensorFlowで遊びながら学んだ、はじめてのLED点滅
 
20161112 IoTLT広島xpyconmini
20161112 IoTLT広島xpyconmini20161112 IoTLT広島xpyconmini
20161112 IoTLT広島xpyconmini
 
「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"
「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"
「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"
 
awsでIoTを楽しんでる話
awsでIoTを楽しんでる話awsでIoTを楽しんでる話
awsでIoTを楽しんでる話
 
160531 IoT LT #15 @ 日本IBM
160531 IoT LT #15 @ 日本IBM160531 IoT LT #15 @ 日本IBM
160531 IoT LT #15 @ 日本IBM
 
ZENKEI AI FORUM 2019 #2
ZENKEI AI FORUM 2019 #2ZENKEI AI FORUM 2019 #2
ZENKEI AI FORUM 2019 #2
 

Ähnlich wie ARラジコン開発中2

ARラジコン開発中
ARラジコン開発中ARラジコン開発中
ARラジコン開発中Hiro Han
 
Swift for pose-estimation
Swift for pose-estimationSwift for pose-estimation
Swift for pose-estimationmana o2
 
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -Takahiro Miyaura
 
IoT勉強会in岡山#2 M5StickCで遊んでみた!
IoT勉強会in岡山#2 M5StickCで遊んでみた!IoT勉強会in岡山#2 M5StickCで遊んでみた!
IoT勉強会in岡山#2 M5StickCで遊んでみた!Shinya Suefusa
 
道東 x IoT ハッカソン 2018 / 開発技術資料
道東 x IoT ハッカソン 2018 / 開発技術資料道東 x IoT ハッカソン 2018 / 開発技術資料
道東 x IoT ハッカソン 2018 / 開発技術資料Kohei MATSUSHITA
 
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話Takahiro Miyaura
 
MANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれ
MANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれMANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれ
MANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれJUNKI MANO
 
Azure Remote Renderingを試す
Azure Remote Renderingを試すAzure Remote Renderingを試す
Azure Remote Renderingを試すTakahiro Miyaura
 
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようUIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようTakahiro Miyaura
 
「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみたTakahiro Miyaura
 
社内勉強会資料、拡張現実感(Ar)
社内勉強会資料、拡張現実感(Ar)社内勉強会資料、拡張現実感(Ar)
社内勉強会資料、拡張現実感(Ar)Kiyoaki Haba
 
kintone を 農業 IoT に活用! 「API で農業をつなぐ」
kintone を 農業 IoT に活用!「API で農業をつなぐ」kintone を 農業 IoT に活用!「API で農業をつなぐ」
kintone を 農業 IoT に活用! 「API で農業をつなぐ」Yukihito Kataoka
 
Flutterとプラットフォーム依存の処理の対応について
Flutterとプラットフォーム依存の処理の対応についてFlutterとプラットフォーム依存の処理の対応について
Flutterとプラットフォーム依存の処理の対応についてSatoshi Noda
 
isaaxとsoracomで実現する爆速IoT実装
isaaxとsoracomで実現する爆速IoT実装isaaxとsoracomで実現する爆速IoT実装
isaaxとsoracomで実現する爆速IoT実装Nanami Setoyama
 
なぜデータをインタラクティブに可視化したいのか?
なぜデータをインタラクティブに可視化したいのか?なぜデータをインタラクティブに可視化したいのか?
なぜデータをインタラクティブに可視化したいのか?hide ogawa
 
IoTで何かやってみよう
IoTで何かやってみようIoTで何かやってみよう
IoTで何かやってみよう真理 中村
 
Rails環境に最適なVue.js構成を探る
 Rails環境に最適なVue.js構成を探る Rails環境に最適なVue.js構成を探る
Rails環境に最適なVue.js構成を探る虎の穴 開発室
 
SIerによるSIerのためのRaspberry Pi 入門
SIerによるSIerのためのRaspberry Pi 入門SIerによるSIerのためのRaspberry Pi 入門
SIerによるSIerのためのRaspberry Pi 入門catmoney
 
Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場
Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場
Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場SORACOM,INC
 

Ähnlich wie ARラジコン開発中2 (20)

ARラジコン開発中
ARラジコン開発中ARラジコン開発中
ARラジコン開発中
 
Swift for pose-estimation
Swift for pose-estimationSwift for pose-estimation
Swift for pose-estimation
 
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
 
IoT勉強会in岡山#2 M5StickCで遊んでみた!
IoT勉強会in岡山#2 M5StickCで遊んでみた!IoT勉強会in岡山#2 M5StickCで遊んでみた!
IoT勉強会in岡山#2 M5StickCで遊んでみた!
 
道東 x IoT ハッカソン 2018 / 開発技術資料
道東 x IoT ハッカソン 2018 / 開発技術資料道東 x IoT ハッカソン 2018 / 開発技術資料
道東 x IoT ハッカソン 2018 / 開発技術資料
 
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
 
MANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれ
MANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれMANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれ
MANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれ
 
Azure Remote Renderingを試す
Azure Remote Renderingを試すAzure Remote Renderingを試す
Azure Remote Renderingを試す
 
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようUIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
 
「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた
 
社内勉強会資料、拡張現実感(Ar)
社内勉強会資料、拡張現実感(Ar)社内勉強会資料、拡張現実感(Ar)
社内勉強会資料、拡張現実感(Ar)
 
kintone を 農業 IoT に活用! 「API で農業をつなぐ」
kintone を 農業 IoT に活用!「API で農業をつなぐ」kintone を 農業 IoT に活用!「API で農業をつなぐ」
kintone を 農業 IoT に活用! 「API で農業をつなぐ」
 
Flutterとプラットフォーム依存の処理の対応について
Flutterとプラットフォーム依存の処理の対応についてFlutterとプラットフォーム依存の処理の対応について
Flutterとプラットフォーム依存の処理の対応について
 
isaaxとsoracomで実現する爆速IoT実装
isaaxとsoracomで実現する爆速IoT実装isaaxとsoracomで実現する爆速IoT実装
isaaxとsoracomで実現する爆速IoT実装
 
なぜデータをインタラクティブに可視化したいのか?
なぜデータをインタラクティブに可視化したいのか?なぜデータをインタラクティブに可視化したいのか?
なぜデータをインタラクティブに可視化したいのか?
 
IoTで何かやってみよう
IoTで何かやってみようIoTで何かやってみよう
IoTで何かやってみよう
 
Rails環境に最適なVue.js構成を探る
 Rails環境に最適なVue.js構成を探る Rails環境に最適なVue.js構成を探る
Rails環境に最適なVue.js構成を探る
 
SIerによるSIerのためのRaspberry Pi 入門
SIerによるSIerのためのRaspberry Pi 入門SIerによるSIerのためのRaspberry Pi 入門
SIerによるSIerのためのRaspberry Pi 入門
 
Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場
Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場
Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場
 
IoT ChatOps #IoTLT
IoT ChatOps #IoTLTIoT ChatOps #IoTLT
IoT ChatOps #IoTLT
 

ARラジコン開発中2