Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie 機械学習による変形ARマーカの位置・姿勢推定, 電気・電子・情報関係学会東海支部連合大会, 2021
Ähnlich wie 機械学習による変形ARマーカの位置・姿勢推定, 電気・電子・情報関係学会東海支部連合大会, 2021 (20)
Mehr von MILab
Mehr von MILab (11)
Kürzlich hochgeladen
Kürzlich hochgeladen (20)
機械学習による変形ARマーカの位置・姿勢推定, 電気・電子・情報関係学会東海支部連合大会, 2021
- 3. 2次元コード • 2次元コードの代表的な例 • URL埋め込み， ID分類，姿勢・位置推定が可能 3 ARマーカ QRコード • 問題点 • 平面に貼られることを前提 • 角や曲面に貼られて変形すると正しく認識できない ID：４ ID：8 ID：2 https://□□.jp https://OO.jp https://××.jp
- 4. 提案手法 • 研究目的 • 変形した2次元コードの検出、3次元姿勢の推定 • アプローチ • SSD(Single Shot MultiBox Detector)でARマーカの検出 • AAE(Augmented Autoencoder)を用いてARマーカの変形を除去しその際に得ら れる潜在変数により姿勢の推定 4
- 5. 提案手法 • 研究目的 • 変形した2次元コードの検出、3次元姿勢の推定 • アプローチ • SSD(Single Shot MultiBox Detector)でARマーカの検出 • AAE(Augmented Autoencoder)を用いてARマーカの変形を除去しその際に得ら れる潜在変数により姿勢の推定 5
- 6. Single Shot MultiBox Detector (SSD) • SSDは深層学習ベースの物体検出アルゴリズム • SSDは物体検出とクラス分類を同時に推定 • 高速、高精度に物体を検出 SSD:Liu, Wei, et al. “Ssd: Single shot multibox detector.” European conference on computer vision. Springer, Cham, 2016 6
- 7. 提案手法 • 研究目的 • 変形した2次元コードの検出、3次元姿勢の推定 • アプローチ • SSD(Single Shot MultiBox Detector)でARマーカの検出 • AAE(Augmented Autoencoder)を用いてARマーカの変形を除去しその際に得ら れる潜在変数により姿勢の推定 7
- 8. Augmented Autoencoder（AAE） • ノイズを含む入力画像➡ノイズを除去し姿勢情報を含む画像を生成 • エンコーダーにより圧縮された物体の特徴量である潜在変数zを取得 AAE：M. Sundermeyer et al. : Implicit 3D Orientation Learning for 6D Object Detection from RGB Images, ECCV, 2019. 8 Encoder 出力 (𝑥′ 𝑖) Decoder z 教師データ：変形のないARマーカ 訓練データ：変形ARマーカ 出力(推定)：変形のない様に復元したARマーカ 訓練データ 教師データ(𝑥𝑖)
- 9. Encoder z 提案手法におけるAAEの学習 • 訓練データに姿勢が対応する教師データを用意 • 訓練データをオートエンコーダに入力 • 教師データ𝑥𝑖と出力データ𝑥′ 𝑖の損失誤差が小さくなるように学習 9 姿勢推定を行うための潜在変数zをエンコーダより取得可能 教師データ(𝑥𝑖) 訓練データ L=Σi|| 𝑥𝑖 -𝑥′ 𝑖||2 ネットワークを学習 出力 (𝑥′ 𝑖) Decoder
- 10. エンコーダによる潜在変数を用いた姿勢推定 step1. 「変形を除去した平面状のARマーカ」を生成可能なAEを学習 step2. エンコーダを用いた「姿勢情報データベース(DB)」の作成 step3. エンコーダを用いて「推定対象となる画像の潜在変数」を取得 step4. 3で得られた潜在変数をDBと照合し姿勢の推定 11 潜在変数:Z1 潜在変数:Z2 潜在変数:Z3 潜在変数:Z4 DB 潜在変数 照合 Encoder Encoder 学習データ テストデータ
- 11. データベースの作成 • 各姿勢の変形ARマーカの姿勢情報をデータベース(DB)に保存 • マーカの姿勢範囲：roll [0~360°], pitch [-35~35°], yaw [-15~15°] • 角度の分解能：3° • 撮影した画像264124枚を学習済みのエンコーダに入力 • エンコーダより取得した潜在変数zをDBに保存 12
- 12. 評価実験 • 学習データの作成 • 提案手法の有効性の検証 • SSDによるARマーカの検出及びIDの分類精度の評価 • AAEによる姿勢推定精度の評価 13
- 13. 検出対象のARマーカ • ロボット分野で利用されるROSのar_track_alvarパッケージを使用 • ARマーカの種類：ID:0~9の10種類 • ARマーカの大きさ：縦横50mm ar_track_alvar：https://wiki.ros.org/ar_track_alvar 14
- 16. 学習データ • 実空間でも検出できる様に背景画像を追加 Indoor Scene Recognition：http://web.mit.edu/torralba/www/indoor.html 17
- 17. 評価実験 • 学習データの作成 • 提案手法の有効性の検証 • SSDによるARマーカの検出及びIDの分類精度の評価 • AAEによる姿勢推定精度の評価 18
- 18. 評価実験の概要 • 下記の2つの実験を実施 1. カメラとARマーカの距離の違いによる検出精度の比較 2. 円柱の半径の違いによる検出精度の比較 • 比較手法 • 提案手法：SSD • 従来手法：ar_track_alvar • ROSで利用可能なオープンソース • ARマーカの生成や姿勢推定が可能 • 評価指標 • mAP：ARマーカのID分類精度 • IoU：ARマーカの推定位置の精度 19
- 19. 評価実験１ • 距離の違いによるmAP・IoUの比較 • カメラとARマーカの距離による検出精度の違いをar_track_alvarと比較 • ar_track_alvarはIoUを出力できないため、mAPのみ評価 • 評価データ • カメラとの距離0.4~0.5m、0.5~0.6m、0.6~0.7m、0.7~0.8mの画像を各300枚 • 各間隔の間にランダムに生成したARマーカを合計1200枚撮影 20
- 20. 実験結果１ • 提案手法は0.76m, ar_track_alvarは0.70mまで検出 • 提案手法はar_track_alvarより検出精度は2倍以上 21 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 0.4~0.5 0.5~0.6 0.6~0.7 0.7~0.8 m AP 距離 [m] 提案手法 ar_track_alvar 評価指標 mAP IoU 提案手法 0.78 0.69 ar_track_alvar 0.35 - 距離による姿勢推定の比較
- 21. 実験結果２ • ar_track_alvarでは半径30mm以下のARマーカを検出不可 • 提案手法ではどの変形度合いでも検出可能 22 提案手法 ar_track_alvar 円柱半径[mm] mAP IoU mAP IoU 20 0.79 0.68 0.00 - 30 0.83 0.71 0.00 - 40 0.85 0.73 0.56 -
- 22. 評価実験 • 学習データの作成 • 提案手法の有効性の検証 • SSDによるARマーカの検出及びIDの分類精度の評価 • AAEによる姿勢推定精度の評価 24
- 23. 実験概要 1. ARマーカの姿勢[roll, pitch, yaw]の推定精度の検証 2. 画像中央から位置ずれを想定した姿勢の推定精度の検証 • 評価指標 • 姿勢の推定精度：平均絶対誤差(MAE) • 画像の復元精度：平均平方二乗誤差(RMSE) 25
- 24. 実験に使用するデータ • 学習データ • 学習画像は1種類あたり1500枚撮影 • 「訓練データ・教師データ」の60種類，合計90000枚用意 • 評価データ • SSDより検出された画像を使用 • 半径20, 30, 40[mm]の100枚の画像 26
- 25. 評価実験1 • 評価データ100枚の姿勢の推定精度(MAE)と復元精度(RMSE)を算出 • 推定結果は平均して2~3°の誤差 • 変形の小さいモデルほど精度が向上 • 復元精度に伴って姿勢の推定精度が向上 27 円柱半径[mm] roll pitch yaw 平均 20 4.39 3.06 2.77 3.40 30 2.76 2.88 2.58 2.74 40 2.52 2.65 2.43 2.53 半径[mm] RMSE 20 0.238 30 0.226 40 0.214 姿勢の推定精度(MAE) 画像の復元精度(RMSE)
- 26. 評価実験2の概要 • 画像中央からの位置ずれを想定した姿勢の推定精度(MAE) • 擬似的にマーカ中心を一定の割合でずらす • 想定する位置ずれ：0%, 10%, 20% 29 位置ずれ0% 位置ずれ10% 位置ずれ20%
- 27. 評価実験3 • 画像中央からの位置ずれを想定した姿勢の推定精度(MAE) • 位置ずれに比例し、誤差も増加 30 位置ずれ0% 位置ずれ10% 位置ずれ20% 入力 出力 入力 出力 入力 出力 円柱半径[mm] 0% 10% 20% 20 3.40 4.73 37.4 30 2.74 3.65 28.6 40 2.53 3.41 25.1
- 28. まとめ • 機械学習による位置，姿勢推定を提案 • SSDを用いて変形ARマーカを認識 • 変形度合が大きいARマーカを検出可能なことを確認 • AAEを用いた姿勢推定が可能であることを確認 • 今後の課題 • 実環境下での評価 • 三次元位置の推定 • あらゆる変形に対応したARマーカの検出及び姿勢推定法の検討 31
Hinweis der Redaktion
- 機械学習による変形AR マーカの位置・姿勢推定と題して中部大学の榎元洋平が発表します。
- 近年２次元コードが普及しキャッシュレス決済や物品管理、広告、ロボットの認識など様々な場所で２次元コードが活用されています。
- 代表的な２次元コードにＱＲコードとARマーカがあります。 ２次元コードはURL埋め込み、ID分類、位置・姿勢推定が可能です。 問題点として、これらの２次元コードは平面に貼る事を前提としているため、角や曲面に貼られ変形すると正しく認識できません。 https://news.yahoo.co.jp/byline/moriimasakatsu/20180905-00095675
- そこで、本研究の研究目的は、変形した２次元コードの検出、３次元姿勢の推定です。 アプローチとしてSSDでARマーカの検出、 AAEによるARマーカの姿勢推定の２段階に分かれます。
- まず、SSDよるARマーカの検出の説明をします。
- SSDは深層学習ベースの物体検出アルゴリズムです。 SSDはクラス分類と物体検出を同時に行い、高速かつ高精度に物体検出が可能です。 この様に四角で囲み物体検出し、人や車を分類してします。 このSSDを用いてARマーカの検出を行います。
- 次にAAEによる姿勢推定の説明をします。
- まずAAEはノイズを含む入力画像から、ノイズを除去し姿勢情報を含む画像を生成する手法です. 訓練データの変形ARマーカを変形のないARマーカに復元する様にエンコーダーとデコーダーを学習します。 エンコーダーにより圧縮された物体の特徴量である潜在変数zを取得します。
- AAEの学習方法です。 ・訓練データに姿勢が対応する教師データを用意します。 ・訓練データだけをエンコーダーに入力し得られた潜在変数ｚをデコータに通して画像を復元します。 ・教師データxiと出力データx’iの損失誤差が小さくなるようにエンコーダーとデコーダーを学習します。 ・これによって変形ARマーカから変形のないARマーカを復元できる様学習しました。 ・この時(アニメ)エンコーダーから得られる潜在変数より姿勢推定を行います。 （・これによって姿勢推定を行うための潜在変数zをエンコーダより取得する事ができます。 このエンコーダーを用いて次のページから説明する姿勢推定やDBを作成します。）
- 前ページで説明した、姿勢推定を行うための潜在変数zを取得できるエンコーダーを学習します。（前ページのことだよ説明） 次に、学習済みのエンコーダによって姿勢情報データベース(DB)を作成します。 そして、学習済みエンコーダを用いてテストデータの潜在変数を取得します。 最後に、step3で得られた潜在変数とDB内の潜在変数をコサイン類似度によって照合し、 最も類似度が高い潜在変数をテストデータの姿勢と推定をします。
- データベースの作成方法を説明します。 記載されている範囲内かつ分解能３°で変形ARマーカの姿勢を変化させ撮影します。 撮影した画像264124枚を学習済みエンコーダーに入力し、潜在変数ｚを獲得します。 撮影した画像全ての潜在変数を取得しDBを作成します。 一枚当たりにかかる時間 どうやってやったら短くできるか 限界の時の図見え方
- 次に学習データの作成方法の説明をします。
- 本研究の検出対象はARマーカです。 ロボット分野で利用されるROSのar_track_alvarを使用しました。 ID０～９の１０種類、大きさは縦横50mmです。
- 図の様に半径20～50mmの5mm間隔の大きさで円柱を用意しARマーカを貼り付けることでARマーカを変形させました。
- SSDには大量の学習データが必要です。 しかし、実世界で大量の学習データを収集することは困難なため、 ロボットシミュレーターGazeboによってARマーカを自動生成し学習データを作成しました。
- 学習データの例です。 実空間でも検出できる様に背景画像を追加しました。
- 提案手法の有効性を確認するために評価実験を行いました。 まず、SSDによるARマーカの検出及びIDの分類精度の評価を行いました。
- 下記の2つの実験を行いました。 カメラとARマーカの距離の違いによる検出精度の比較 円柱の半径の違いによる検出精度の比較 比較手法は、提案手法のSSDと従来法のar_track_alvarです。 ar_track_alvarは、ROSで利用可能なオープンソースでARマーカの生成や姿勢推定が可能です。 評価指標は、ｍAPとIoUです。
- カメラとARマーカの距離による検出精度の違いをar_track_alvarと比較しました。 ar_track_alvarはIoUを出力できないため、ｍAPのみを評価します。
- 画像は評価データの例です。 一定の精度でARマーカの認識できましたが0.7ｍ以降はARマーカの検出精度は低下しました。 しかし、提案手法はar_track_alvarより2倍以上の精度で検出できました。 Ssd0.76 ar_track_alvar0.70
- 次にARマーカの半径による検出精度の違いをar_track_alvarと比較しました。 ARマーカが貼付された各半径の円柱の画像を100枚ずつ用意しました。 ar_track_alvarは半径30mm以下はARマーカを検出できませんでしたが、 提案手法ではどの変形度合いでも検出できました。 結果より機械学習によって変形を吸収し、変形度合いが大きいARマーカでも高精度に検出できました。
- 検出結果の例です。 提案手法によって変形したARマーカの検出が確認できました。
- 次に、AAEによる姿勢推定精度の評価を行いました。
- 下記の２つの実験を行いました。 ARマーカの姿勢[roll, pitch, yaw]の推定精度の検証 画像中央から位置ずれを想定した姿勢の推定精度の検証 評価指標に平均絶対誤差(MAE)と，平均平方二乗誤差(RMSE)を用います。
- 実験に使用するデータの説明をします． 学習データは１種類あたり1500枚撮影し「訓練データ・教師データ」の60種類，合計90,000枚用意しました。 評価データはSSDより検出された半径20, 30, 40[mm]の変形ARマーカ、各100枚の画像です。 以下が評価データの例です。 okナ例とngな例の画像欲しい
- ARマーカの姿勢の推定精度と画像の復元精度は表の様になりました。 AAEによって２，３°の誤差がありましたが姿勢推定をする事ができました。 また、変形の小さいモデルほど復元精度が向上し、それに伴って姿勢推定の精度が上がることが分かります。 この結果より復元精度も姿勢推定に影響があることが分かります。 （yawは角度が少ない）
- 評価実験２ AAEを用いた変形ARマーカの復元精度（RMSE）は表の様になりました。 高精度に復元できている事が分かりました。
- 画像の中央からの位置ずれを想定した姿勢の推定精度を検証しました。 マーカの中心から各割合でずらした画像で姿勢推定を行いました。 ※AAEに入力する際にバウンディングボックスを調整し128ｘ128ピクセルにします． したがって１０％の場合は13ピクセル，２０％の場合は２６ベクトルずらしています．
- ズレが大きいほど復元精度と、姿勢推定の精度が低下しました。 この結果からＳＳＤによる位置推定のズレが姿勢推定の結果に大きく影響を及ぼすことが分かります。 理由 ｐ３０のずれとは？ SSDで物体検出する際のバウンドディングボックスのズレを想定しています。 DBではカメラの中心にARマーカがくる様に撮影しています。 DBの潜在変数と推定対象の潜在変数を比較して姿勢推定を行います。 その際にDBはカメラの中央にARマーカがくる様に撮影しています。 中央にある画像の潜在変数と右側にズレている画像の潜在変数は大きく異なってします為誤差が生じます。
- 本研究では機械学習によって変形ARマーカの位置、姿勢推定法を提案しました。 SSDを用いて変形ARマーカを認識し、変形度合いが大きいARマーカでも検出可能である事を確認しました。 また、AAEによって変形したARマーカでもの変形を除去した画像の潜在変数によって姿勢を推定可能である事が確認できました。 今後の課題は実環境下での評価、３次元位置の推定、あらゆる変形に対応したARマーカの検出及び姿勢推定法の検討を行います。 あらゆる変形とは？ 今回は円柱にARマーカを張り付けて均一な変形させましたが， 今後はARマーカを布のようなものに張り付け，均一ではない変形でもARマーカを検出できるようにしたいです．
- １枚処理するのにかかる時間は？ １枚当たり、5.9秒。 早くなりそう？ 5.9秒の内、5.5秒は推定対象の画像の潜在変数とDBの潜在変数の照合です。 現在、潜在変数は128次元あり、照合はコサイン類似度によって計算しています。 潜在変数を二値化しルックアップテーブルを用いて、ハミング距離によって照合を行うことで時間短縮可能だと考えます。
- なぜARマーカの姿勢推定が必要か？ ロボットで物体をつかむタスクがある場合、ARマーカを基準にその物体をつかむ。 その際ARマーカの姿勢が分かれば、ロボットハンドの角度やアームの位置の持って行く時に利用。