東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
•
2 likes•983 views
東北大学情報科学研究科における産学連携講義「先端技術の基礎と実践」で、2022年1月13日にPFNリサーチャーの菊池悠太が行った講義の資料です。 深層学習による画像認識について紹介し、訓練データにまつわる話や社内外における近年のCGやシミュレータの活用事例について取り上げました。
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
Similar to 東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太 (20)
More from Preferred Networks
More from Preferred Networks (20)
Recently uploaded
Recently uploaded (11)
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
- 2. 菊池 悠太 経歴 - 2011年-2016年 東京工業大学 修士&博士 - 奥村・高村研究室で自然言語処理．主に文書要約について研究 - 2016年10月- 株式会社 Preferred Networks - 2016年4月- アルバイトも - 入社以降はほぼコンピュータビジョン関係の研究開発に従事 自己紹介 2 https://projects.preferred.jp/interactive-robot/ https://projects.preferred.jp/tidying-up-robot/
- 3. 本日のお話 - 深層学習による画像認識 - 訓練データとその重要性について - CGデータの活用 - おまけ: 訓練の自動化 3
- 5. 画像認識タスクの代表例 画像分類 何が写ってるか 物体検出 どこにあるか セグメンテーション どんな形状か (画像生成) カテゴリ等から画像を生成する 「猫」 「猫」 cat dog 5
- 6. 画像認識タスクの代表例 画像分類 何が写ってるか 物体検出 どこにあるか セグメンテーション どんな形状か (画像生成) カテゴリ等から画像を生成する 「猫」 「猫」 cat dog 6 画像に対するこの正解情報を 訓練データとして用意する
- 7. 画像認識タスクの比較 イメージ 訓練データの作成コ スト モデルの複雑さ (≒チューニングコ スト) 活用できる場面 画像分類 低 低 画像単位の分類で 十分なケース 物体検出 中 高 物体形状は要らない が、 位置・個数・種類等が 重要なケース セグメンテーション 高 中 物体や領域の形状が 重要なケース および画像変換器とし ての活用 「猫」 7 cat dog
- 9. 9 お片付けロボットを支えた技術 画像認識編 CEATEC JAPAN 2018 Oct 16–19, 2018 四日間のデモ期間中 止まらずに動き続けた (ブース内が停電した時でも）
- 10. お片付けロボットの実現に必要な認識システム ● 数百種類の物体の位置・形状・種類が識別できること ● 物体の置かれ方や環境条件が変わっても安定して動作すること 従来システム(マッチングや色ベースの分類器など )の課題 - ルールの作り込みが大変 - 一部の物体にしか適用できない - 乱雑に置かれる状況に弱い 深層学習によるブレイクスルー - 訓練用データセットから自動でルールを獲得 - 高い汎用性・ロバスト性 - 高速な推論速度 (1GPUで0.1秒など) 10 収集した訓練データの例 入力(左)とその教師出力(右) お片付けロボットを支えた技術 画像認識編
- 11. お片付けロボットの実現に必要な認識システム ● 数百種類の物体の位置・形状・種類が識別できること ● 物体の置かれ方や環境条件が変わっても安定して動作すること 従来システム(マッチングや色ベースの分類器など )の課題 - ルールの作り込みが大変 - 一部の物体にしか適用できない - 乱雑に置かれる状況に弱い 深層学習によるブレイクスルー - 訓練用データセットから自動でルールを獲得 - 高い汎用性・ロバスト性 - 高速な推論速度 (1GPUで0.1秒など) 11 収集した訓練データの例 入力(左)とその教師出力(右) お片付けロボットを支えた技術 画像認識編
- 12. お片付けロボットの実現に必要な認識システム ● 数百種類の物体の位置・形状・種類が識別できること ● 物体の置かれ方や環境条件が変わっても安定して動作すること 従来システム(マッチングや色ベースの分類器など )の課題 - ルールの作り込みが大変 - 一部の物体にしか適用できない - 乱雑に置かれる状況に弱い 深層学習によるブレイクスルー - 訓練用データセットから自動でルールを獲得 - 高い汎用性・ロバスト性 - 高速な推論速度 (1GPUで0.1秒など) 12 収集した訓練データの例 入力(左)とその教師出力(右) お片付けロボットを支えた技術 画像認識編
- 13. お片付けロボットの実現に必要な認識システム ● 数百種類の物体の位置・形状・種類が識別できること ● 物体の置かれ方や環境条件が変わっても安定して動作すること 従来システム(マッチングや色ベースの分類器など )の課題 - ルールの作り込みが大変 - 一部の物体にしか適用できない - 乱雑に置かれる状況に弱い 深層学習によるブレイクスルー - 訓練用データセットから自動でルールを獲得 - 高い汎用性・ロバスト性 - 高速な推論速度 (1GPUで0.1秒など) 13 収集した訓練データの例 入力(左)とその教師出力(右) ただし... ←10万枚規模のデータを集めるのは大変 ←それでも訓練データにない状況は解けないことも ←訓練には8GPUで数日といった時間がかかる お片付けロボットを支えた技術 画像認識編
- 15. 現実世界 撮影 機械学習モデル構築のおおまかな流れ 15 photos from Kirillov et al., “Panoptic Segmentation”, CVPR2019
- 16. 現実世界 撮影 機械学習モデル構築のおおまかな流れ 16 アノテーション photos from Kirillov et al., “Panoptic Segmentation”, CVPR2019
- 17. 現実世界 撮影 機械学習モデル構築のおおまかな流れ 17 アノテーション データセット photos from Kirillov et al., “Panoptic Segmentation”, CVPR2019
- 18. 現実世界 撮影 機械学習モデル構築のおおまかな流れ 18 アノテーション データセット モデル photos from Kirillov et al., “Panoptic Segmentation”, CVPR2019
- 19. 現実世界 撮影 機械学習モデル構築のおおまかな流れ 19 アノテーション データセット モデル 入力 photos from Kirillov et al., “Panoptic Segmentation”, CVPR2019
- 20. 現実世界 撮影 機械学習モデル構築のおおまかな流れ 20 アノテーション データセット モデル 入力 予測 photos from Kirillov et al., “Panoptic Segmentation”, CVPR2019
- 21. 現実世界 撮影 機械学習モデル構築のおおまかな流れ 21 アノテーション データセット モデル 入力 予測 正解 photos from Kirillov et al., “Panoptic Segmentation”, CVPR2019
- 22. 現実世界 撮影 機械学習モデル構築のおおまかな流れ 22 アノテーション データセット モデル 入力 予測 正解 間違い情報 photos from Kirillov et al., “Panoptic Segmentation”, CVPR2019
- 23. 現実世界 撮影 機械学習モデル構築のおおまかな流れ 23 アノテーション データセット モデル 入力 予測 正解 間違い情報 学習 アルゴリズム photos from Kirillov et al., “Panoptic Segmentation”, CVPR2019
- 24. 現実世界 撮影 機械学習モデル構築のおおまかな流れ 24 アノテーション データセット モデル 入力 予測 正解 間違い情報 学習 アルゴリズム 訓練 photos from Kirillov et al., “Panoptic Segmentation”, CVPR2019
- 28. お片付けロボットデモでの認識エラー例 28 白いテーブル上に白い充電器の幻影 高密度な配置の際の認識抜け マンゴー vs レモン 人間の誤認識 お片付けロボットを支えた技術 画像認識編 多種多様なデータを用意したつもりでも....
- 29. お片付けロボットデモでの認識エラー例 29 高密度な配置の際の認識抜け マンゴー vs レモン 人間の誤認識 「白（似た）色の重なり」データが足りない？ 白いテーブル上に白い充電器の幻影 訓練データに「人間」が足りない？ お片付けロボットを支えた技術 画像認識編 多種多様なデータを用意したつもりでも....
- 32. アノテーションのコスト ImageNet 最も有名なデータセット ? 1400万枚以上のラベル付き 画像 ※よく訓練に使われているのはサブセットの100万枚 クラウドソーシングを活用し数万人が作業 （そうでなければ19年かかる試算） 32 CityScapes 車載カメラ画像のSemantic Segmentationデータ セット 詳細な5000枚，簡易な20000枚のアノテーション 詳細なアノテーションには作業とチェックのために一枚 あたり平均1.5hかかったらしい Marius et al., “The Cityscapes Dataset for Semantic Urban Scene Understanding”, CVPR2016 J. Deng et al., “ImageNet: A Large-Scale Hierarchical Image Database”, CVPR2009. (photo from https://image-net.org/static_files/papers/ImageNet_2010.pdf )
- 33. 訓練データの質の重要性 ラベル付けの一貫性，運用にあったシーンをちゃんとカバーできているかなど， 質の良い訓練データを用意することがとても大事（ ↓では実際に実験も行っている） 33 Andrew Ng先生による「Data-Centric AI」など，データにフォーカスを当てる運動も [video] [slide] （Neurips2021においてワークショップも開催 : Data-centric AI Workshop, https://datacentricai.org/ ) photos from https://www.deeplearning.ai/wp-content/uploads/2021/06/MLOps-From-Model-centric-to-Data-centric-AI.pdf
- 35. 効率的なアノテーションのための工夫 ARなど，近年のスマートフォンなどデバイスの発展に合わせて効率的にデータを集める取り組みも 35 Laielli et al., “LabelAR: A Spatial Guidance Interface for Fast Computer Vision Image Collection”, UIST2019 Ahmadyan et al., “Objectron: A Large Scale Dataset of Object-Centric Videos in the Wild with Pose Annotations”, arXiv2020
- 36. 運用先にあったデータをしっかり作る オープンなデータセットは存在するものの，実際の現場で頑健に動作する認識器を作りたい場合 はその要件に合わせて自前で訓練データを用意することになる 質の高いデータのために - 機能の要件定義 - 運用環境に合ったデータ撮影 - アノテーションのルール整備 などをしっかり行うことが大事 36 お片付けロボットでは認 識器の訓練のために 10万枚規模のデータを 3,4ヶ月かけて集めた どれ？
- 41. 訓練データへのCGの活用 41
- 49. The Matrix Awakens: An Unreal Engine 5 Experienceが話題に https://www.unrealengine.com/ja/blog/introducing-the-matrix-awakens-an-unreal-engine-5-experience 49 リアルさだけじゃなく，こんな機能も
- 50. CGの訓練データへの活用 シミュレータによりCGデータを作成することのメリット - アノテーションコストをかけずデータを生成可能 - 人手でアノテーションを付けるのが難しいデータの生成 - レアなイベント - 危険な現場，シチュエーションの撮影 - 運用先でのデータの撮影が（建築前などで）不可能 ただし「現実とシミュレーションのギャップ」という課題も存在 50 Roberts et al., “Hypersim: A Photorealistic Synthetic Dataset for Holistic Indoor Scene Understanding”, ICCV2021 Wang et al., “TartanAir: A Dataset to Push the Limits of Visual SLAM”, IROS2020 Devaranjan et al., “Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data Generation”, ECCV2020 Richer et al., “Playing for Data: Ground Truth from Computer Games”, ECCV2016 ↓この論文は 3Dアセットへの アノテーションは人手でして ることに注意．そこにはコス トがかかるが，その後レンダ リングした各 2D画像へのア ノテーションが自動化され る．
- 52. PFNでの取り組み 52 3Dスキャンで生成した高精細モデル 実物の写真 回転させた3Dモデル（低解像度） (gif) 3Dモデルのメッシュ構造 (gif) 高精細3Dモデル生成技術 https://www.preferred.jp/ja/news/pr20210310/
- 55. 55 55元素の 組み合わせ に対応 (3000原子) 2か月 0.3秒 従来と同程度の精度で 10万～1,000万倍 の計算速度 触媒、電池、潤滑油な ど多様な開発に 利用可能 …and more ブラウザ上で すぐに使用可能 第一原理計算結果を教師データとし、それを独自GNNで学 習モデルを構築したNeural Network Potential (NNP) Matlantis: 超高速な原子レベルシミュレータ https://matlantis.com/ja/
- 56. 今日のお話 - 深層学習による画像認識 - お片付けロボットを例に - 訓練データについて - 質，量の大事さ - アノテーションコスト - クラウドソーシングやツールの改善 - CGの活用 - 訓練データの生成 - PFNでの取り組み 56
- 57. おまけ: 訓練の自動化 57
- 58. 58 従来人手でやっていた部分を自動でやってくれるツールの発展 ● ハイパーパラメータ自動最適化探索 ● ネットワークアーキテクチャ探索（NAS） ○ ネットワーク構造に関する（ハイパーパラメータの）自動最適化 ○ PFNでは，単純な精度向上だけでなく利用環境の制約（推論速度．メモリ使用量など） も考慮したモデルのチューニングに NASを活用するための研究開発も行っている ● cf. “Neural Architecture Searchを用いたセマンティックセグメンテーションモデルの探索 ”, https://tech.preferred.jp/ja/blog/nas-semseg/ 訓練の自動化の波 例:
- 59. 59 従来人手でやっていた部分を自動でやってくれるツールの発展 ● ハイパーパラメータ自動最適化探索 ● ネットワークアーキテクチャ探索（NAS） ○ ネットワーク構造に関する（ハイパーパラメータの）自動最適化 ○ PFNでは，単純な精度向上だけでなく利用環境の制約（推論速度．メモリ使用量など） も考慮したモデルのチューニングに NASを活用するための研究開発も行っている ● cf. “Neural Architecture Searchを用いたセマンティックセグメンテーションモデルの探索 ”, https://tech.preferred.jp/ja/blog/nas-semseg/ 訓練の自動化の波 例:
- 65. Optuna: ハイパーパラメータ自動最適化探索 ●機械学習アルゴリズムの振る舞いを決める値 ●機械学習アルゴリズムによって自動的に学習されない値 ○ e.g., 多層パーセプトロンにおける層・ユニットの数 ●大抵は人間が手動で適切な値を定める 65 をどうすればよいのかを．自動で求めてくれるのが
- 70. 70 従来人手でやっていた部分を自動でやってくれるツールの発展 ● ハイパーパラメータ自動最適化探索 ● ネットワークアーキテクチャ探索（NAS） ○ ネットワーク構造に関する（ハイパーパラメータの）自動最適化 ○ PFNでは，単純な精度向上だけでなく利用環境の制約（推論速度．メモリ使用量など） も考慮したモデルのチューニングに NASを活用するための研究開発も行っている ● cf. “Neural Architecture Searchを用いたセマンティックセグメンテーションモデルの探索 ”, https://tech.preferred.jp/ja/blog/nas-semseg/ 訓練の自動化の波 例:
- 71. 71 ImageNetベンチマークの成績上位にはすでにNASが関わる手法が https://paperswithcode.com/sota/image-classification-on-imagenet Pham et al., "Meta Pseudo Labels", CVPR2021
- 74. 74 従来人手でやっていた部分を自動でやってくれるツールの発展 ● ハイパーパラメータ自動最適化探索 ● ネットワークアーキテクチャ探索（NAS） ○ ネットワーク構造に関する（ハイパーパラメータの）自動最適化 ○ PFNでは，単純な精度向上だけでなく利用環境の制約（推論速度．メモリ使用量など） も考慮したモデルのチューニングに NASを活用するための研究開発も行っている ● cf. “Neural Architecture Searchを用いたセマンティックセグメンテーションモデルの探索 ”, https://tech.preferred.jp/ja/blog/nas-semseg/ 訓練の自動化の波 例:
- 75. 75 従来人手でやっていた部分を自動でやってくれるツールの発展 ● ハイパーパラメータ自動最適化探索 ● ネットワークアーキテクチャ探索（NAS） ○ ネットワーク構造に関する（ハイパーパラメータの）自動最適化 ○ PFNでは，単純な精度向上だけでなく利用環境の制約（推論速度．メモリ使用量など） も考慮したモデルのチューニングに NASを活用するための研究開発も行っている ● cf. “Neural Architecture Searchを用いたセマンティックセグメンテーションモデルの探索 ”, https://tech.preferred.jp/ja/blog/nas-semseg/ 訓練の自動化の波 例: データさえ揃えれば，訓練を自動化する研究が進んできている
- 76. 76 従来人手でやっていた部分を自動でやってくれるツールの発展 ● ハイパーパラメータ自動最適化探索 ● ネットワークアーキテクチャ探索（NAS） ○ ネットワーク構造に関する（ハイパーパラメータの）自動最適化 ○ PFNでは，単純な精度向上だけでなく利用環境の制約（推論速度．メモリ使用量など） も考慮したモデルのチューニングに NASを活用するための研究開発も行っている ● cf. “Neural Architecture Searchを用いたセマンティックセグメンテーションモデルの探索 ”, https://tech.preferred.jp/ja/blog/nas-semseg/ 訓練の自動化の波 例: データさえ揃えれば，訓練を自動化する研究が進んできている