機械学習応用システムの開発技術 (機械学習工学) の現状と今後の展望
•Als PPTX, PDF herunterladen•
0 gefällt mir•145 views
近年のビックデータと深層学習の開発環境の普及により、人間の能力を超える機能をもったシステムも開発できるようになってきました。しかしながら、データから複雑かつ膨大なルールを自動的に導出する深層学習は、どのような判断をしているのかが人知を越えており、そのシステムの安全性を保証することが非常に困難です。本講演では、深層学習によって訓練した訓練済みモデルを組み込んだシステムに関して、その安全性の担保の難しさを自動運転の事例で整理し、機械学習応用システムのための工学技術(機械学習工学)がどこまで対応できるのかを解説し、今後の研究開発の展望を説明します。
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie 機械学習応用システムの開発技術 (機械学習工学) の現状と今後の展望
Ähnlich wie 機械学習応用システムの開発技術 (機械学習工学) の現状と今後の展望 (20)
Mehr von Nobukazu Yoshioka
Mehr von Nobukazu Yoshioka (12)
機械学習応用システムの開発技術 (機械学習工学) の現状と今後の展望
- 4. 3 結構良い性能が出てていて信頼性は確保でき そう Yolo v3をMS COCOで訓練したモデルを利用 BDD100K: A Large-scale Diverse Driving Video Database: https://bair.berkeley.edu/blog/2018/05/30/bdd/ Caltech Pedestrian Detection Benchmark: http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/
- 6. 5 えっ、なんで？？？
- 9. 8 講演のポイント 新しいAIシステムは、実行される環境が複雑かつ不 明確でも安全動作することが求められるが、難しい 機械学習（特に深層学習）は、非常に複雑なルール を自動導出するため意味付け困難 不都合があるかどうかが分からない 不都合を分類し、改善のライフサイクルが回せない 複雑なルールの組み合わせを自動で導出 どのような対象世界か不明、可能性が膨大 やってほしいこと （仕様） 自動運転システム DNN DNNの脆弱性に 起因したリスク 実行環境・状況に 起因したリスク 8
- 10. 9 いうまでもなくML（特にDNN）の認識・判断能力 の高さが今後の社会に大きな役割 ミスの深刻性人命に関わる 医療・福祉 （2.1兆円） 交通・運輸 （10兆円） 電力・ガス・通信 （1.8兆円） 農林水産 （3800億円） 金融・保険 （4.7兆円） 卸売・小売 （15兆円） 製造業（2.1兆円） 広告 （3.6兆円） AIの寄与度 大きい （AIが最終判断） 小さい （人が最終判断） AI適用産業は品質保証クリティカル かつ環境統制困難な分野に拡大 総額 35.7 兆円 （2030年） 安全性の担保 が発展の鍵 （戦略プロポーザル）AI応用システムの安全性・信頼性を確保する新世代ソフトウェア工学の確立／CRDS-FY2018-SP-03, 2018年12月 https://www.jst.go.jp/crds/report/report01/CRDS-FY2018-SP-03.html
- 12. 11 機械学習応用システムの開発の難しさ 機械学習を応用したシステム 確率・統計的な精度 訓練データに依存 従来型システムの開発 演繹的にアルゴリズム・論理の 組み合わせ ギャップ 平成30年度成果報告書 産業分野における人工知能及びその内の機械学習の活用状況及び人工知能技術の安全性に関する調査, p.72 • 適切なシステムの構築が困難 • 品質の担保が困難
- 13. 12 機械学習応用システムの開発の難しさ 機械学習を応用したシステム 確率・統計的な精度 訓練データに依存 従来型システムの開発 演繹的にアルゴリズム・論理の 組み合わせ • 適切なシステムの構築が困難 • 品質の担保が困難 0 20 40 60 80 100 プロジェクト管理 更新 問題の把握と修正（デバッグ） 運用 テスト，品質の評価・保証 アーキテクチャ設計 訓練データの収集・選択・生成やその管理 開発運用に関し顧客と行う意思決定 開発者へのギャップアンケート (278回答） 要求定義、テスト・品質保証が最も ギャップが大きい 根本的に異なる考え方が必要 手法が未成熟 特化したツールが存在 従来どおり ギャップ MLSE2018アンケート 調査結果より https://sites.google.com/view/sig-mlse/%E7%99%BA%E8%A1%8C%E6%96%87%E7%8C%AE
- 14. 13 機械学習応用システムの開発の難しさ 機械学習を応用したシステム 確率・統計的な精度 訓練データに依存 従来型システムの開発 演繹的にアルゴリズム・論理の 組み合わせ • 適切なシステムの構築が困難 • 品質の担保が困難 0 20 40 60 80 100 プロジェクト管理 更新 問題の把握と修正（デバッグ） 運用 テスト，品質の評価・保証 アーキテクチャ設計 訓練データの収集・選択・生成やその管理 開発運用に関し顧客と行う意思決定 開発者へのギャップアンケート (278回答） 要求定義、テスト・品質保証が最も ギャップが大きい 根本的に異なる考え方が必要 手法が未成熟 特化したツールが存在 従来どおり ギャップ MLSE2018アンケート 調査結果より https://sites.google.com/view/sig-mlse/%E7%99%BA%E8%A1%8C%E6%96%87%E7%8C%AE 機械学習工学の確立 が重要 機械学習が組み込まれると従来 のように品質を担保できない！
- 16. 1515 2019年 2020年
- 17. 16 機械学習工学に関するその他の活動 機械学習品質マネジメントガイドライン https://www.aist.go.jp/aist_j/press_release/pr2020/pr 20200630_2/pr20200630_2.html AIプロダクト品質保証ガイドライン（QA4AI） http://www.qa4ai.jp/download/ 研究プロジェクト NEDO 「人と共に進化する次世代人工知能に関する技術開発事業／ 実世界で信頼できるAIの評価・管理手法の確立／機械学習システム の品質評価指標・測定テストベッドの研究開発」 JST 未来社会創造事業「機械学習を用いたシステムの高品質化・実用 化を加速する“Engineerable AI”技術の開発」 JST CREST「信頼されるAIシステムを支える基盤技術」
- 18. 17 DNNだと何が難しいのか？ 対象世界の広がり：実行環境・状況の複雑さ、不確かさ 実現に関する難しさ： 1. DNNで訓練されたモデルの複雑さ、意味付けの難しさ 2. 訓練済みモデルの制御した変更の難しさ 3. DNN特有の脆弱性 複雑なルールの組み合わせを自動で導出 どのような対象世界か不明、可能性が膨大 やってほしいこと （仕様） 自動運転システム DNN DNNの脆弱性に 起因したリスク 実行環境・状況に 起因したリスク 17
- 19. 18 実行環境・状況の複雑さ、不確かさ Czarnecki, K., & Salay, R. (2018). Towards a Framework to Manage Perceptual Uncertainty for Safe Automated Driving. International Conference on Computer Safety, Reliability, and Security, 439–445. 18
- 21. 20 訓練済みモデルの制御した変更の難しさ 別の問題が生じないよう少しだけ修正したい が、、、 CACE: changing anything changes everything 問題は精度以外の観点での変更の制御が できないこと リスク軽減、バグつぶしの改善プロセスが回せない！ 他の重要なシーンが 認識できなくなっているかも？
- 22. 21 DNNの脆弱性：Adversarial Examples (敵対的 標本) Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Song, D. Robust Physical-World Attacks on Deep Learning Models, CVPR 2018 Carlini, N., & Wagner, D. (2017). Towards Evaluating the Robustness of Neural Networks. Proceedings - IEEE Symposium on Security and Privacy, 39–57.
- 23. 22 特定の特徴をもたせた敵対的標本 Sharif, M., Bhagavatula, S., Bauer, L., & Reiter, M. K. (2019). A general framework for adversarial examples with objectives. ACM Transactions on Privacy and Security, 22(3). https://doi.org/10.1145/3317611
- 24. 23 プライバシー・機密情報の問題 個人情報・機密情報を使って訓練 訓練に使った元データを推測 顔を認識する訓練済みモデル 訓練データ Fredrikson, M., Jha, S., & Ristenpart, T. (2015). Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures. Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security - CCS ’15, 1322–1333.
- 26. 25 主な課題 1. 保証範囲が決められない！ 2. 重大な不備が見つかっても対応できない！ 1. 原因分析ができない！ 2. 不備をすべて対策した訓練済みモデルが作れ ない！ 3. 動作保証ができない！ どんな不備があるか分からない！
- 27. 研究動向 2018年（MLSE設立時）から急激に研究が増え てきている 著名なソフトウェア工学の国際会議のMLSE関連論文数 ICSE: 2020: 17件, 2019:7件, 2018:1件、2017: 0件 ASE: 2020: 8件、2019: 4件、 2018: 4件、2017: 0件 FSE 2020: 25件、2019: 4件、2018: 1件、2017: 0件 RE 2020: 3件、 2019: 1件、2018: 1件、2017: 0件 REFSQ 2020: 1件、 2019: 0件、2018: 0件、2017: 0件 26 平成30年度成果報告書 産業分野における人工知能及びその内の機械学習の活用状況及び人工知能技術の安全性に関する調査
- 28. 研究分野の動向 新しく立ち上がった国際会議 The AAAI's Workshop on Artificial Intelligence Safety: https://safeai.webs.upv.es/ International Workshop on Artificial Intelligence Safety Engineering (WAISE) @ SAFECOMP: https://www.waise.org/ AISafety @IJCAI: https://www.aisafetyw.org/ 2020 USENIX Conference on Operational Machine Learning: https://www.usenix.org/conference/opml20 The Conference on Systems and Machine Learning (SysML): https://mlsys.org/ Safe AIに関するセンター Center for AI Safety (Stanford University, USA): http://aisafety.stanford.edu/ PRECISE Center of Safe AI (University of Pennsylvania, USA): https://precise.seas.upenn.edu/safe-autonomy コミュニティ The Software Engineering for Machine Learning Applications (Polytechnique Montreal, Canada) https://semla.polymtl.ca/organizers/ 27
- 29. 課題を解決しそうな最近の研究(ICSE2020の例) 学習データの妥当性が不明 学習データが不足 学習データの収集コストが大きい 重要な場面での動作を担保できない 原因分析と対策ができない 不要動作を保証できない保証範囲が不明確 安全な停止を保証できない 製品確認時 学習データ収集時 修正時 要件 テストの妥当性が不明 モデルのアップデート セキュリティを担保できない 保証のコストが大きい 協力: スバル、デンソー、トヨタ他 ３件 １件１件 １件 １件 ４件 １２件 １件 28
- 30. 最近のソフトウェア工学系の研究 1. テストの自動化の研究がダントツで多い 2. WSレベルではテストの妥当性の議論もされてい る 3. 原因追求に関してはサーベイ・ガイドラインレベル が出てきた 4. DNNの自動修正が出てきた ML系の研究ではセキュリティ・ロバストネス・フェアネ スの観点での妥当性検証が多い（と思う） 29
- 31. 保証範囲の明確化 Rahimi, M., & Chechik, M. (2019). Toward Requirements Specification for Machine-Learned Components. In 27th International Requirements Engineering Conference (pp. 241–244). 30
- 32. 原因追求：原因、不都合の分類 Nargiz Humbatova, Gunel Jahangirova, Gabriele Bavota, Vincenzo Riccio, Andrea Stocco, Paolo Tonella, Taxonomy of Real Faults in Deep Learning Systems, ICSE 2020 Md Johirul Islam, Rangeet Pan, Giang Nguyen, Hridesh Rajan, Repairing Deep Neural, Networks: Fix Patterns and Challenges, ICSE 2020 31
- 33. 原因追求： 意味を考えて何を間違いやすいか分析 Cynthia C. S. Liem and Annibale Panichella, Oracle Issues in Machine Learning and Where to Find Them, 8th International Workshop on Realizing Artificial Intelligence Synergies in Software Engineering, 2020 32
- 34. シナリオベースの影響分析 Ribeiro, M. T., & Guestrin, C. (2016). “Why Should I Trust You?” Explaining the Predictions of Any Classifier. In the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining - KDD ’16 (pp. 1135–1144). 出力に寄与している入力を抽出 出力に寄与している訓練データを抽出 Pang Wei Koh, Percy Liang, Understanding Black-box Predictions via Influence Functions, Proceedings of the 34th International Conference on Machine Learning, PMLR 70:1885-1894, 2017. 33
- 35. 解析可能なモデルを変換・抽出 WFAで モデル抽出 Takamasa Okudono, Masaki Waga, Taro Sekiyama, Ichiro Hasuo: Weighted Automata Extraction from Recurrent Neural Networks via Regression, AAAI 2020 34 Satoshi Hara, Kohei Hayashi, Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach, Proceedings of the Twenty-First International Conference on Artificial Intelligence and Statistics, PMLR 84:77-85, 2018.
- 37. DNNの自動修正（リペア） Hao Zhang, W.K. Chan, Apricot: A Weight-Adaptation Approach to Fixing Deep Learning Models. (ASE2019) 36
- 38. セキュリティ対策: 敵対的攻撃に対する対応 Yuan, X., He, P., Zhu, Q., & Li, X. (2019). Adversarial Examples: Attacks and Defenses for Deep Learning. IEEE Transactions on Neural Networks and Learning Systems, 30(9), 2805–2824. https://doi.org/10.1109/TNNLS.2018.2886017 37
- 39. アタックされたデータで訓練されたかを自動判定 入力とDNNの発火パターンをクラスタリングして判定 Chen, B., Carvalho, W., Baracaldo, N., Ludwig, H., Edwards, B., Lee, T., … Srivastava, B. (2019). Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering. In AAAI Workshop on Artificial Intelligence Safety (p. 8). 38
- 40. 今後（も）有望な研究 DNNの訓練の理解： リバースエンジニアリング シナリオベースの影響分析 ⇒ 説明性（XAI）の研究 抽象化 DNNからの解析可能なモデルを生成・変換 微調整 訓練済みモデルの解析と修正 セマンティクスを考慮したDNN（知識融合型訓練） 解析しやすい・分割しやすい・解釈性が高いDNNアーキテクチャ 不正解のリスク、正解の価値を考慮した訓練 DNN（関数）と意味モデル（セマンティクス） とのギャップを埋める 39
- 43. JST 未来社会創造事業 「機械学習を用いたシステムの 高品質化・実用化を加速する "Engineerable AI”(eAI)技術の開発」 〜 PDCAサイクルを回せるAI 〜 国立情報学研究所 supported by https://qaml.jp/
- 44. eAIプロジェクト 目的：AIシステムを製品化に必要な信頼性・安 全性を担保するための工学技術の開発 1. 信頼性・安全性の保証 2. 原因追求と改善：PDCAが回せる 代表：国立情報学研究所 石川冬樹准教授 パートナー： 学術：早大、九大、東工大、JAIST他 産業界：デンソー、スバル、トヨタ、 NTTデータ、 富士通研究所、NEC、 東芝、JAMSS他 43
- 45. JST 未来社会創造事業 【概要】 社会・産業ニーズを踏まえ、経済・社会的にインパクトのある出口を明確に見据 えた技術チャレンジ ５年で、実用化が可能かどうか見極められる段階（概念実証：POC）を目 指す 重点公募テーマ： サイバー世界とフィジカル世界を結ぶモデリングとAI 詳細： http://www.jst.go.jp/mirai/jp/ 総括：前田 章 （元 株式会社日立製作所 ICT事業統括本部 技師長） 本格研究に 向けて探索研究中 44
- 46. 我々が解決する課題 1. 信頼性・安全性の保証 機械学習応用システムに求められる安全性を従来システム のように根拠をもって他者に示すことができる 2. 原因追求と改善：PDCAが回せる 広範囲に再利用できる部品やアクティビティを構築し、 安全 に改良・更新できる 出力・振る舞いの品質、特にディペンダビリティについ て、エンジニアが理解、表現、外部に説明、評価、実装、 改良できるようになっているAI Engineerable AI（eAI） 45
- 48. まとめと今後の研究 これからのAIシステム・DNNを含むシステムの品質は従来のソフ トウェア工学のやり方では担保困難 機械学習工学が必要 今後の工学的観点の研究 どのような問題を解決すべきかの整理と解決法 説明性（XAI）・影響分析に関する研究が安全性の分析にどれだ け有用なのかを現場の視点で評価 機械学習の最新研究が実際のAIシステムにどこまで有用かの評 価と整理 敵対的標本がAIシステム上どれくらいリスクとなり得るかを整理 DNN（関数）と意味モデル（セマンティクス）とのギャップを埋 める研究 47
- 49. お断り 推論に使った訓練済みモデルは、Yolo v3をCOCOで訓練させ たモデルです。 そのため、現実的でない訓練モデル・訓練データの可能性があります 例に出した写真は以下のオープンデータセットに含まれているもの です。研究目的以外には使えません。利用制限に関しては各オ ープンデータのサイトを御覧ください。 BDD100K: A Large-scale Diverse Driving Video Database: https://bair.berkeley.edu/blog/2018/05/30/bdd/ Caltech Pedestrian Detection Benchmark: http://www.vision.caltech.edu/Image_Datasets/Caltec hPedestrians/ 48