Suche senden
Hochladen
ARラジコン開発中2
•
0 gefällt mir
•
189 views
H
Hiro Han
Folgen
Developed AR R/C Car
Weniger lesen
Mehr lesen
Software
Melden
Teilen
Melden
Teilen
1 von 15
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
IoTLT長野 vol.1 SORACOM Air for Cellarer の plan-D/plan-K を試してみた
IoTLT長野 vol.1 SORACOM Air for Cellarer の plan-D/plan-K を試してみた
Koichiro Oki
Node-REDで鉄道模型を運転する
Node-REDで鉄道模型を運転する
TomohisaYamazoe
ラズパイIoT鉄道模型 - 車載カメラとNode-Redによる運転
ラズパイIoT鉄道模型 - 車載カメラとNode-Redによる運転
TomohisaYamazoe
事例とキーワードで紐解くIoT / JAWS-UG長崎支部 Re:Boot! 第一回勉強会@長崎県産業振興財団
事例とキーワードで紐解くIoT / JAWS-UG長崎支部 Re:Boot! 第一回勉強会@長崎県産業振興財団
Kohei MATSUSHITA
SORACOM UG 信州 #4 オープニング
SORACOM UG 信州 #4 オープニング
Koichiro Oki
本番稼働した IoT のツラミを乗り越えて火星まで行こう!
本番稼働した IoT のツラミを乗り越えて火星まで行こう!
Tomoyuki Sugita
垣根のないモノ作り!
垣根のないモノ作り!
Yuka Tokuyama
Spatial Computingの未来に思いを馳せて
Spatial Computingの未来に思いを馳せて
NishoMatsusita
Weitere ähnliche Inhalte
Was ist angesagt?
SORACOM UG Explorer 2019 スポンサーLT
SORACOM UG Explorer 2019 スポンサーLT
Ichiro Tsuji
ZENKEI AI FORUM 2019 #4
ZENKEI AI FORUM 2019 #4
Kengo Ichiki
アグリゲート・コンピューティング風IoTでの戦い方
アグリゲート・コンピューティング風IoTでの戦い方
Takeshi Mikami
オフィスライフについて本気出して考えてみた
オフィスライフについて本気出して考えてみた
Yuka Tokuyama
2018/12/5 SIerIoTLT vol.13 by kitazaki
2018/12/5 SIerIoTLT vol.13 by kitazaki
Ayachika Kitazaki
20210906 SD#28 kitazaki
20210906 SD#28 kitazaki
Ayachika Kitazaki
加速するIoTの社会実装! スマートxxで世の中はどう変わる?
加速するIoTの社会実装! スマートxxで世の中はどう変わる?
Ichiro Tsuji
いおたんFA業界に殴り込み
いおたんFA業界に殴り込み
Ichiro Tsuji
クラウドお遍路2018「いおたんとAWSとIoTと」
クラウドお遍路2018「いおたんとAWSとIoTと」
Ichiro Tsuji
EnOcean × Node-REDで簡単・本格IoT
EnOcean × Node-REDで簡単・本格IoT
Akiyuki Yoshino
IoTバカ、自動運転車を買う
IoTバカ、自動運転車を買う
Ichiro Tsuji
IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7
IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7
Kohei MATSUSHITA
20171105 go con2017_lt
20171105 go con2017_lt
Keigo Suda
僕たちが考えた最強のIoT
僕たちが考えた最強のIoT
Ichiro Tsuji
TensorFlowで遊びながら学んだ、はじめてのLED点滅
TensorFlowで遊びながら学んだ、はじめてのLED点滅
Takeshi Mikami
20161112 IoTLT広島xpyconmini
20161112 IoTLT広島xpyconmini
Mitsuaki Ando
「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"
「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"
Kohei MATSUSHITA
awsでIoTを楽しんでる話
awsでIoTを楽しんでる話
Saito5656
160531 IoT LT #15 @ 日本IBM
160531 IoT LT #15 @ 日本IBM
Toshiki Tsuboi
ZENKEI AI FORUM 2019 #2
ZENKEI AI FORUM 2019 #2
Kengo Ichiki
Was ist angesagt?
(20)
SORACOM UG Explorer 2019 スポンサーLT
SORACOM UG Explorer 2019 スポンサーLT
ZENKEI AI FORUM 2019 #4
ZENKEI AI FORUM 2019 #4
アグリゲート・コンピューティング風IoTでの戦い方
アグリゲート・コンピューティング風IoTでの戦い方
オフィスライフについて本気出して考えてみた
オフィスライフについて本気出して考えてみた
2018/12/5 SIerIoTLT vol.13 by kitazaki
2018/12/5 SIerIoTLT vol.13 by kitazaki
20210906 SD#28 kitazaki
20210906 SD#28 kitazaki
加速するIoTの社会実装! スマートxxで世の中はどう変わる?
加速するIoTの社会実装! スマートxxで世の中はどう変わる?
いおたんFA業界に殴り込み
いおたんFA業界に殴り込み
クラウドお遍路2018「いおたんとAWSとIoTと」
クラウドお遍路2018「いおたんとAWSとIoTと」
EnOcean × Node-REDで簡単・本格IoT
EnOcean × Node-REDで簡単・本格IoT
IoTバカ、自動運転車を買う
IoTバカ、自動運転車を買う
IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7
IoT時代のデータ伝送とインフラに求められている機能と技能 - ニフティクラウド mobile backend #7
20171105 go con2017_lt
20171105 go con2017_lt
僕たちが考えた最強のIoT
僕たちが考えた最強のIoT
TensorFlowで遊びながら学んだ、はじめてのLED点滅
TensorFlowで遊びながら学んだ、はじめてのLED点滅
20161112 IoTLT広島xpyconmini
20161112 IoTLT広島xpyconmini
「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"
「IoTをビジネスの力に」IoTデータ伝送プラットフォーム "Plat'Data Processing"
awsでIoTを楽しんでる話
awsでIoTを楽しんでる話
160531 IoT LT #15 @ 日本IBM
160531 IoT LT #15 @ 日本IBM
ZENKEI AI FORUM 2019 #2
ZENKEI AI FORUM 2019 #2
Ähnlich wie ARラジコン開発中2
ARラジコン開発中
ARラジコン開発中
Hiro Han
Swift for pose-estimation
Swift for pose-estimation
mana o2
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
Takahiro Miyaura
IoT勉強会in岡山#2 M5StickCで遊んでみた!
IoT勉強会in岡山#2 M5StickCで遊んでみた!
Shinya Suefusa
道東 x IoT ハッカソン 2018 / 開発技術資料
道東 x IoT ハッカソン 2018 / 開発技術資料
Kohei MATSUSHITA
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
Takahiro Miyaura
MANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれ
MANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれ
JUNKI MANO
Azure Remote Renderingを試す
Azure Remote Renderingを試す
Takahiro Miyaura
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
Takahiro Miyaura
「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた
Takahiro Miyaura
社内勉強会資料、拡張現実感(Ar)
社内勉強会資料、拡張現実感(Ar)
Kiyoaki Haba
kintone を 農業 IoT に活用!「API で農業をつなぐ」
kintone を 農業 IoT に活用!「API で農業をつなぐ」
Yukihito Kataoka
Flutterとプラットフォーム依存の処理の対応について
Flutterとプラットフォーム依存の処理の対応について
Satoshi Noda
isaaxとsoracomで実現する爆速IoT実装
isaaxとsoracomで実現する爆速IoT実装
Nanami Setoyama
なぜデータをインタラクティブに可視化したいのか?
なぜデータをインタラクティブに可視化したいのか?
hide ogawa
IoTで何かやってみよう
IoTで何かやってみよう
真理 中村
Rails環境に最適なVue.js構成を探る
Rails環境に最適なVue.js構成を探る
虎の穴 開発室
SIerによるSIerのためのRaspberry Pi 入門
SIerによるSIerのためのRaspberry Pi 入門
catmoney
Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場
Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場
SORACOM,INC
IoT ChatOps #IoTLT
IoT ChatOps #IoTLT
Keita Moromizato
Ähnlich wie ARラジコン開発中2
(20)
ARラジコン開発中
ARラジコン開発中
Swift for pose-estimation
Swift for pose-estimation
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
IoT勉強会in岡山#2 M5StickCで遊んでみた!
IoT勉強会in岡山#2 M5StickCで遊んでみた!
道東 x IoT ハッカソン 2018 / 開発技術資料
道東 x IoT ハッカソン 2018 / 開発技術資料
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
MANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれ
MANABIYA_エッジ編_仕事で始めるIoT -IoTなシステムと向き合って学んだあれこれ
Azure Remote Renderingを試す
Azure Remote Renderingを試す
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた
社内勉強会資料、拡張現実感(Ar)
社内勉強会資料、拡張現実感(Ar)
kintone を 農業 IoT に活用!「API で農業をつなぐ」
kintone を 農業 IoT に活用!「API で農業をつなぐ」
Flutterとプラットフォーム依存の処理の対応について
Flutterとプラットフォーム依存の処理の対応について
isaaxとsoracomで実現する爆速IoT実装
isaaxとsoracomで実現する爆速IoT実装
なぜデータをインタラクティブに可視化したいのか?
なぜデータをインタラクティブに可視化したいのか?
IoTで何かやってみよう
IoTで何かやってみよう
Rails環境に最適なVue.js構成を探る
Rails環境に最適なVue.js構成を探る
SIerによるSIerのためのRaspberry Pi 入門
SIerによるSIerのためのRaspberry Pi 入門
Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場
Developer festa sapporo 2018 | 最新事例から学ぶ IoT の今と、 SORACOM サービス活用による IoT開発の現場
IoT ChatOps #IoTLT
IoT ChatOps #IoTLT
ARラジコン開発中2
1.
ARラジコン開発中 -その2- 2021/03/19 【オンライン】xTech
ゆるっとLT: ROS Kyushu UG and AR_Fukuoka hiro-han
2.
自己紹介 札幌でAI x IoTシステムの開発マネージャーやってます 自動運転とか@東京
(9年) → AI x IoTシステム@札幌 (1年半) ➢ c++, pythonなど AI、IoT、xRなどを組み合わせて遊びたい人 ➢ RaspberryPi, Arduino, RealSense, OculusQuest2, ROSとかで遊んでます ➢ AI(Tensorflow, Pytorch)は最近あまりやってない 今日は2020/12にAR Fukuoka主催のLTで発表した開発の続きです @hiro-han Qiita: https://qiita.com/hiro-han
3.
モチベーション オフィスでARマ○カーをやりたい! ● ラジコンにカメラ載せて、VRゴーグルに画像 表示してオフィスを走らせる ● アイテム表示したり、オフィスの風景に自動で テクスチャを表示したり ○
オフィスの壁がク○パ城になったら面白い
4.
作ったもの ● OculusQuest2でカメラ画像表示、ラジコン制御 ● OculusQuest2のヘッドセット向きに合わせてカメラ回転 ●
ラジコンの移動合わせてVR空間移動 ○ オブジェクトとカメラ画像を重ねてARっぽく ● ROSを使ってアプリ開発 Arduino Uno Raspberry Pi 4 Model B / 8G Raspberry用広角カメラ タミヤラジコン モバイルバッテリー サーボモータ RealSense T265
5.
OculusQuest2との連携 Unityアプリで簡単にROSと連携できるROS#を使用 最新のv1.6をOculusQuest2で動かしたら、少し修正を加えないと動かなった ● PublisherのStart()内で、RosConnectの初期化に失敗 ● アプリ起動時のタイミング問題? すごくARアプリっぽくなった(気分)! 解像度は高くなったし、別にコントローラを使わなくてよくなった ただし、コントローラが小さいので、ラジコンのコントロールがピーキーに...
6.
ARをどうやる? OculusQuestはカメラ画像をテクスチャ表示しているだけ ● スマホのARアプリみたいに画像処理? ○ 平面や立体を検出しないといけない ○
処理も大変そう まずは簡単な方法を試すことに ラジコンの移動にあわせてVR空間を移動、VR空間のオブジェクトを表示し て、カメラ画像を背景にしてみる
7.
VR空間の移動 ラジコンの位置を推定して、OculusQuest2に送る必要がある SLAMをraspiで動かすのは処理負荷がやばそう RealSense T265をラジコンに載せて位置取得 OVRCameraRigを動かす!
8.
結果
9.
結果 ● VR空間を走ることができた! ● でも微妙だった ○
オブジェクトの影が画像上にできてしまう ○ 画像の位置をもう少し遠くにしないと、急にオブジェクトが現れる ■ オクルージョン無視 ○ 床面とオブジェクトの下面がずれると違和感 ● 広角カメラにしたので、画像転送の遅延が顕著になった
10.
これから ● オブジェクトの位置、画像位置の調整 ● 転送速度の改善 ○
nodelet ○ WebRTC ○ ROS TCP Connector ● そもそもARのやり方を変える? ○ 画像処理(ARCore) ○ 3Dセンサを使う(RealSense D435i) ● Unityと組み合わせてシミュレーションとか ● AIと組み合わせて強化学習とか
11.
ありがとうございました!
12.
おまけ
13.
カメラの変更 Raspi カメラ Raspi 用広角カメラ Raspiカメラは視野角が狭いため、広角カメラに変更 →臨場感がアップ! 62.3x48.8度
160度
14.
ROS#の変更点 try catch 追加 これを追加しないと、messageの初期化に失敗する rosConnectorと、publicationIdの初期化を追加 UnityPulisher.cs
15.
構成
Jetzt herunterladen