機械学習デザインパターンおよび機械学習システムの品質保証の取り組み

1. 1 9月8日基調講演: Valliappa Lakshmanan 氏 (Google, Director for Data Analytics and AI Solutions on Google Cloud) “Machine Learning Design Patterns in Industry” 産業界における機械学習デザインパターン https://ses.sigse.jp/2021/ 2021年9月6日

2. 機械学習デザインパターンおよび機械学習システムの品質保証の取り組み鷲崎弘宜早稲田大学 / 国立情報学研究所 / システム情報 / エクスモーション 2021年 8月25日 washizaki@waseda.jp http://www.washi.cs.waseda.ac.jp/ 2 【オンラインセミナー】豆寄席

3. 目次 • 機械学習システムと品質 • 機械学習品質技術: テスト、修正、フレームワーク • 機械学習デザインパターン 3

4. 機械学習によるパラダイム転換 4 目標学習データ学習済みモデル活動 / システム（動作）目標モデル活動 / システム（動作）データ従来のエンジニアリング: 演繹的（モデルが最初に与えられる）機械学習ベース: 帰納的（モデル・アルゴリズムがデータで決まる）プロセス実行プロダクト機械学習ベース・データ駆動エンジニアリング機械学習システム参考: 丸山宏, 機械学習工学に向けて, JST機械学習型システム開発へのパラダイム転換, 2017 4

5. 5 人工知能システムにおける品質の概念人工知能システムの品質マネジメント人工知能システムの品質保証技術人工知能ベースシステムの品質 • 訓練・テストデータの品質 • モデルの品質 • 機械学習システムの品質 • 疑似オラクル • メタモルフィックテスティング • 頑健性検査 • ニューロンカバレッジ • 説明生成（PoC、監視、オンライン学習、更新など）飯泉紀子、鷲崎弘宜、誉田直美監修、SQuBOK策定部会編、“ソフトウェア品質知識体系ガイド（第3版）－SQuBOK Guide V3－”、ISBN 978-4-274-22631-1、2020/11/21、オーム社 5

6. 機械学習システムの構成と品質技術訓練データ訓練済みモデル予測・推論(に基づく振舞い) 基盤ソフトウェアシステムデータ複数モデル感度分析・逆追跡モデルデバッグ・修正アーキテクチャ段階的設計・検証モニタリング失敗対策上位目標ミスの無さ、偏りの無さ、網羅性性能、頑健さ、解釈・説明性組み入れ正しさ品質保証全体合目的性、想定外対応内平直志, 「人工知能とソフトウェア工学・品質管理」, 第33年度ソフトウェア品質管理研究会第7回特別講義, 2017 Eric Breck et al., The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction, IEEE Big Data 2017 データテストメタモルフィックテスティングフレームワーク、デザインパターン 6

8. 性能・網羅性: メタモルフィックテスティング • メタモルフィック関係に基づき大量に試験 • 入力への変化により、出力の変化を予想できる関係 • 例: A の検索結果数 ≧ A かつ B の検索結果数 • 例: sin(x) = sin(x + 360度) 8 入力の変化出力の変化並び変え無しノイズの追加意味的に同じもの統計的に同じもの経験的に近いもの僅か定数の加算、乗算定数の加算、乗算狭める部分集合全く異なるもの互いに素 x t(x) f(x) g(f(x)) 変換t 変換g 参考: S. Segura et al., "Metamorphic Testing of RESTful Web APIs," IEEE Transactions on Software Engineering, 2017 参考: C. Murphy, “Applications of Metamorphic Testing”, http://www.cis.upenn.edu/~cdmurphy/pubs/MetamorphicTesting-Columbia-17Nov2011.ppt f(t(x)) = 変換f 変換f 8

9. 機械学習による画像認識のテスト • ノイズ追加等によるメタモルフィックテスト明度レンズの汚れ障害物自動運転車の場合 [Tian’18] 文字認識の場合 Y Tian, et al., DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous Cars, ICSE 2018 https://arxiv.org/pdf/1708.08559.pdf 参考: 本田澄,アーキテクチャ・品質エンジニアリング, スマートエスイー講義資料, 2018 9

10. ニューラルネットワークデバッグ（修正） • 再訓練 • 正攻法であるが、時間・コスト高 • 追加訓練データの検討の難しさ、性能悪化の可能性 • オンライン学習 • 特定データによる逐次学習を通じた修正 • 性能悪化の副作用の可能性 • データ拡充: 生成 [a]、選択 [b]、拡張 [c]など • モデルのパラメータを直接には修正せず試行錯誤 • 敵対的サンプルに対して脆弱な可能性 • 特定サンプルに応じたパラメータ直接変更 • 要因分析と修正 • 敵対的サンプルに対する特定ラベルに関する修正 [d] • 失敗データにおける影響個所の探索と修正 [e] • 参考: 修正仕方全般の実証研究 [f] 10 [a] Generative adversarial nets, NIPS 2014 [b] MODE: automated neural network model debugging via state differential analysis and input selection, ESEC/FSE 2018 [c] Autoaugment: Learning augmentation policies from data, arXiv:1805.09501, 2019 [d] 敵対的サンプルに対するニューラルネットワークモデルの学習無し修正とその評価, JSSST大会 2019 [e] Search Based Repair of Deep Neural Networks, arXiv:1912.12463, 2019 [f] Repairing Deep Neural Networks: Fix Patterns and Challenges, ICSE 2020

11. 敵対的サンプルに対する修正 [e] • 要因分析: 特定のラベルに対する検証データと誤認識データとのニューロン出力の平均値の差分による局所化 • 修正: 局所化した個所の重みパラメータの特定修正率による更新 → 検証データによるデグレ有無の確認 11 [d] 敵対的サンプルに対するニューラルネットワークモデルの学習無し修正とその評価, JSSST大会 2019 検証データによる平均値誤認識データによる平均値最優先で修正すべきニューロン

12. 12 プロジェクト要求（AI/MLキャンバス他）アーキテクチャ設計（SysML他）安全性解析（Safety case, STAMP他）要求・安全論証要求・実装マッピング実装手法・ツール変換訓練済みモデルデータ変換モデル訓練データ推論結果機能・品質要求（GORE他）メタモデル DSL マッピング・変換パターンモデル設計・設定テスト・自動修正要求・設計パターン性能・頑健性: JST未来社会eAIプロジェクト高品質AIを実現するフレームワークに向けて何のために何をどの程度？他への影響は？運用し続けられる？異なる環境やツールは？ Jati H. Husen, Hnin Thandar Tun, Nobukazu Yoshioka, Hironori Washizaki and Yoshiaki Fukazawa, “Goal-Oriented Machine Learning-Based Component Development Process,” ACM/IEEE 24th International Conference on Model Driven Engineering Languages and Systems (MODELS), online, Sun 10 – Fri 15 October 2021.

14. 機械学習工学とパターン（ランゲージ） • 特定文脈での問題と解決をまとめたもの（のまとまり） • 抽象と具象をつなぐ道具: 問題・解決再利用、アーキテクチャ一貫 • 様々な関係者間の共通言語 • 設計や要求・プロセスのパターン整理とフレームワークへの統合へ • 『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』(Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021年10月予定) Googleプラットフォームチームによる30のパターン, https://www.amazon.co.jp/dp/4873119561 • 『Software Engineering Patterns for ML Applications』 (SEP4MLA), eAIチームによる系統的文献調査に基づく15 のパターン, https://github.com/eai-transfer/ml-design- pattern • 『AIエンジニアのための機械学習システムデザインパターン』澁井雄介（翔泳社, 2021）,機械学習のモデルやワークフローを本番システムで稼働させる作法, https://github.com/mercari/ml-system-design-pattern 14

15. 機械学習システムの構成とデザインパターン 15 学習データ学習済みモデル予測・推論(に基づく振舞い) 基盤ソフトウェアシステムデータデータ表現パターン問題表現パターンモデル訓練パターンレジリエントサービングパターン再現性パターン責任のあるAIパターンレジリエントサービングパターン『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』 (Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021年10月予定) 15

16. データ表現パターン 16 • 様々なデータから機械学習モデルが扱いやすいフィーチャへの表現パターン問題解決特徴量ハッシュ Hashed Feature カテゴリ変数についてとりうる種類を特定困難。One-hot encodingではCold-Start問題。ユニークな文字列としたうえでハッシュ値に変換。埋め込み Embeddings One-hot encodingではデータの近さを扱えない意味的な近さを表すように特徴の埋め込み。特徴量クロス Feature Cross もともとの変数群そのままでは関係に基づく分類や予測が困難複数のカテゴリ変数の組み合わせで関係を容易に表現マルチモーダル入力 Multimodal Input 異なる種別の入力を扱いにくい分散表現の結合 x × y ラベル AC ＋ BC － AD － BD ＋ A B C D 特徴量クロスマルチモーダル入力 x y 『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

17. 特徴量ハッシュ Hashed Feature • 問題: カテゴリ変数についてとりうる種類を特定困難。One-hot encodingではout-of-vocabulary問題・Cold-Start問題。 • 解決: • 1. ユニークな文字列へ変換 • 2. 決定的な方法でハッシュ値に変換 • 3. ハッシュ値の設定バケット数（カテゴリ数）の剰余の採用 • 考慮: バケット衝突、他の集約フィーチャ併用、バケット数チューニング 17 One-hot encoding tf.feature_column.categorical_column_with_hash_bucket( airport, num_buckets, dtype=tf.dtypes.string ) Hashed Feature TensorFlowにおける実装『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

18. 埋め込み Embeddings • 問題: カテゴリ数が膨大な場合の難しさ（疎行列化）。One-hot encoding ではデータの近さを扱えない。 • 解決: 訓練可能な特徴埋め込みレイヤで意味的な近さを表すように小次元のベクトル化、および、重みの訓練 • 考慮 • 経験則: 次元数 = 元のカテゴリ数の4乗根 • テキスト: 語単位の小次元ベクトル表現、平均をとるなどの集約。Word2Vecや BERTなどのさらなる意味・文脈考慮。 • 画像: 畳み込みCNN、オートエンコーダなど 18 訓練後のベクトル表現オートエンコーダ『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

19. 問題表現パターン 19 パターン問題解決問題再設定 Reframing 当初の目的変数や出力で限界回帰から分類へ変更（逆も）マルチラベル Multilabel 出力層の活性化がsoftmaxではマルチラベルの扱い困難出力層の活性化にsigmoidを用いるアンサンブル学習Ensembles バイアス（偏り）とバリアンス（分散）のトレードオフアンサンブル学習: 学習不足時はブースティング、過学習時はバギングほかカスケード Cascade 通常と特殊を同一モデルで扱い困難通常と特殊に分類のうえそれぞれに訓練・予測し集約中立クラス Neutral Class データに主観評価を含むなどにより任意・ランダム性 Yes, NoにMaybeを加えた分類とするリバランシング Rebalancing データセットが不均衡 Accuracy以外評価、ダウンサンプリング、アップサンプリング、Reframing ブースティングバギングマルチラベルアンサンブル学習『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

20. 問題再設定 Reframing • 問題: 確率的であるため、特に精緻な実数の予測に固執すると当初の目的変数や出力形式では限界を生じる場合が有る（特に分布上のピークが複数の場合）。 • 解決: 問題を捉えなおす。特に回帰から分類へ変更する。 • 考慮: • 数値が重要な場合は逆に回帰へ（例: 都市そのものより緯度・経度） • 分類への移行方法: 回帰結果による分類、マルチタスク学習 • 真に目的にかなうものか注意（例:おすすめ映画の種類からユーザのクリック数へと予測問題を変更すると、過剰にクリック数の増大方向） 20 分類が正確な場合回帰が正確な場合『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

21. カスケード Cascade • 問題: 通常と特殊を同一モデルで扱い困難 • 解決: 通常と特殊に分類のうえ、それぞれに訓練したモデルで予測し、最後に集約 • 考慮 • 分類が決定的であれば、本来は入力を加えて単一モデル化すべき • Rebalancingできるのであればそうすべき 21 分類通常時の予測特殊時の予測最終評価『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

22. モデル訓練パターン • 訓練の繰り返し（ループ）の仕方 22 パターン問題解決価値ある過学習Useful Overfitting 物理シミュレーションのように全入力を扱える過学習で良い。実際にはモンテカルロ法でサンプリングなどチェックポイント Checkpoints 複雑なモデルは訓練に時間を要する訓練モデル外の情報も含めて全ての状態をエポック単位で保存・再開転移学習 Transfer Learning 非構造データ訓練に巨大データ転移学習、ファインチューニング分散戦略 Distribution Strategy 深層学習モデルの訓練に長時間並列化による分散学習ハイパーパラメータチューニング Hyperparameter Tuning ハイパーパラメータ人手チューニングは長時間・不正確。グリッドサーチでは非効率。外側の最適化ループとしてのハイパーパラメータチューニング。ベイズ最適化による効率的探索。価値ある過学習ハイパーパラメータチューニング『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

23. 転移学習 Transfer Learning • 問題: 非構造データ訓練に巨大データ必要。特にテキストや画像では汎用のモデルで個別の問題を十分に扱えない。 • 解決: 同種データで訓練済みのモデルによる転移学習 • 考慮: 重みの変更是非 • 特徴量抽出: 重みFix • ファインチューニング: 重みの更新 23 基準データセットタスクの同一性許容時間・コスト特徴量抽出小異なるタスク少ファインチューニング大同一・類似タスク多訓練済みモデル『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

24. レジリエントサービングパターン MLDP • 訓練モデルをデプロイし人の関与なく弾力的に予測稼働・運用 24 パターン問題解決ステートレスサービング関数Stateless Serving Function モデルの巨大化。訓練時と稼働時の環境相違モデルの中核のみエキスポート、ステートレスREST APIとしてデプロイバッチサービングBatch Serving 非同期の予測を数多く実施困難バッチ処理、分散処理環境下で大量データによる非同期予測継続的モデル評価 Continued Model Evaluation コンセプトドリフト、データドリフト継続的なモデル評価・モニタリングと再訓練 2段階予測 Two-Phase Predictions エッジデバイス上の縮退された訓練モデルの性能低下単純なタスク用のモデルをエッジ、複雑なものをクラウド上で稼働キー付き予測 Keyed Predictions 多数の入力データをスケーラブルに扱えない入力へキー付加、キー付きで出力することで分散環境下で容易な扱いキー付き予測『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

25. 継続的モデル評価 Continued Model Evaluation • 問題: モデルはデプロイした瞬間から劣化していく。背景にある前提の変化に伴う入力と目標の関係の変化（コンセプトドリフト）、入力データからの予測時データの変化（データドリフト）。 • 解決: 継続的なモデル評価・モニタリングと再訓練 • 考慮 • 閾値による性能と訓練コストのトレードオフ • オフラインでの古いデータによる学習モデルの新データへの適用評価 25 閾値による変化古いデータ最新データ学習モデル学習モデル流用古いデータによる評価最新データによる評価評価メトリクス比較『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

26. 2段階予測 Two-Phase Predictions • 問題: エッジデバイスへデプロイする縮退訓練モデルの性能低下 • 解決: 単純なタスク用のモデルをエッジ（例: 「OK, Google」の識別分類）、複雑なものをクラウド上で稼働（例: 音声指示の認識） • 考慮 • 通信が貧弱な場合に備えてエッジデバイスで完結するオフラインモデル • センサデータを、エッジで異常判定時のみクラウドへ送信 • エッジデバイス側のモデルの定期的な更新 26 『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

27. 再現性パターン • 決定的な出力を得やすく、訓練・開発効率 27 パターン問題解決変換Transform 入力とフィーチャの異なり変換・前処理の仕方を保存再利用、訓練・予測時で一貫繰り返し可能な分割 Repeatable Splitting ランダムな訓練、検証、テスト用分割では再現困難関係を用いたい変数をハッシュ化し剰余によりデータ分割スキーマブリッジ Bridged Schema 入力データのスキーマが訓練後に幾らか変更古いデータを確率的な方法で新データスキーマへ変換ウィンドウ推論 Windowed Inference 訓練・運用間の歪みを避けられるよう一定の時間枠ごと集約モデルの状態を外部記録、時間依存の方法で集約計算された特徴量の一貫利用ワークフローパイプライン Workflow Pipeline 単一ファイルではスケールせず各ステップを分けてサービス化特徴量ストア Feature Store アドホックな特徴量エンジニアリングプロジェクトやチームを超えた特徴量共有モデルバージョニング Model Versioning モデル更新時の後方互換性困難モデルバージョンを異なるエンドポイント提供、比較 (cash, card) (cash, gift card, debit card, credit card) 変換ブリッジ化スキーマ『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

28. 責任のあるAIパターン • 様々な利害関係者へのモデルの影響 28 パターン問題解決経験的ベンチマークHeuristic Benchmark 結果の良し悪しの程度を意思決定者へ説明困難過去との比較や経験則に基づく判断説明可能な予測 Explainable Predictions 予測の説明困難シンプルなモデル採用、予測結果における説明など公平性レンズ Fairness Lens 不均衡データに基づく異なる人々のグループに対する問題のあるバイアス（What-If toolや Fairness Indicatorsなどによる）訓練前後のデータセットの分析、結果比較、均衡化など What-If Tool (WIT)による可視化例『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021

29. 説明可能な予測 Explainable Predictions • 問題: 予測の説明困難 • 解決: シンプルなモデル採用、予測結果における説明など 29 原聡, 私のブックマーク: 機械学習における解釈性, 人工知能 33(5), 2018 原聡, 私のブックマーク: 説明可能AI, 人工知能 34(4), 2019 AI ・機械学習グループ, アドバンス・トップエスイー最先端ソフトウェアゼミ成果発表, 2019 https://www.topse.jp/images/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%82%BC%E3%83%9F.pdf 分類概要例大域的説明近似モデル決定木（Born Again Trees）ルール（defragTrees）局所的説明根拠特徴量（LIME）データ（influence）深層学習モデルの説明特に画像認識モデルの根拠注目領域のハイライト（SmoothGrad）説明文生成（Visual Explanations）説明可能なモデル設計説明可能モデルシンプルなモデルの採用ルールセット（Interpretable decision sets）短時間 using 19990914 build on win98 using the new account wizard if I add multiple accounts with the same server… 長時間 this mean the problem was with their web page and its cool now or we still need to figure out what the actual bug was and fix that… Y. Noyori, H. Washizaki, et al., “Extracting features related to bug fixing time of bug reports by deep learning and gradient-based visualization,” 2021 IEEE International Conference on Artificial Intelligence and Computer Applications 例: バグレポートの修正時間予測の深層学習モデルの説明『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 202129

30. まとめ • 機械学習システムと品質 • 機械学習品質技術: テスト、修正、フレームワーク • 『機械学習デザインパターン ―データ準備、モデル構築、 MLOpsの実践上の問題と解決』(Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021年10月予定) • https://www.amazon.co.jp/dp/4873119561 • 機械学習モデルおよびシステムの設計の問題、解決、その有効な理由をコツとしてまとめたデザインパターン集 • 特にGoogleプラットフォーム上で有用、コード例あり • 個々に代替やトレーオフの考慮解説あり、パターン間の関連あり 30 問題表現データ表現モデル訓練問題表現データ表現モデル訓練モデル訓練サービング再現性再現性責任AI 責任AI 再現性責任AI サービングサービング問題表現データ表現 PoC 開発運用(MLOps)

31. 実行委員長: 鷲崎弘宜（早稲田大学）プログラム委員長: 横川智教（岡山県立大学）副プログラム委員長: 戸田航史（福岡工業大）ローカル委員長: 坂本一憲、齋藤大輔（早稲田）会計委員長: 徳本晋（富士通研究所）ワークショップ委員長: 大森隆行（立命館大学）ポスター委員長: 名倉正剛（南山大学）招待論文委員長: 崔恩瀞（京都工芸繊維大）出版委員長: まつ本真佑（大阪大学）広報委員長: 藤井拓（オージス総研）、水野修（京都工芸繊維大学） 31 ソフトウェアエンジニアリングプロフェッショナル集団や将来それに連なる若手・学生および周辺の関係者が集い交流するとともに、人々や社会の価値創造に貢献するソフトウェアエンジニアリングに向けた研究、実践、人材育成の研究および実践成果の発表と議論を通じて深化と拡大を進め、その結果を社会へ発信するとともに更なる深化および拡大の基礎を得る。 https://ses.sigse.jp/2021/ 機械学習関連の発表多数あり基調講演: • Forrest Shull 氏 (IEEE Computer Society 2021 会長, CMU/SEI) :ソフトウェアエンジニアリングの将来展望 • 込山俊博氏（日本電気株式会社エグゼクティブエキスパート，ISO/IEC/JTC1 JTC1/SC7/WG6 Convenor）:ソフトウェア品質評価のための国際規格の制定，普及及び活用 • Valliappa Lakshmanan 氏 (Google, Google Cloud Platform Director): 産業界における機械学習デザインパターン • 劉少英氏（広島大学教授）：ソフトウェア品質保証とコスト削減のためのテストベース形式検証） 2021年9月6日

32. 主査: 鷲崎弘宜幹事: 小川秀人、伏田享平、伊原彰紀、竹内広宜、徳本晋、福田浩章、横川智教運営委員: 33名情報処理学会ソフトウェア工学研究会 SIGSE 2021年度 1977年創設 45年目会員約440名 http://www.ipsj.or.jp/sig/se/ プロフェッショナル集団および周辺関係者が集う場を形成し、物理空間とデジタル空間が融合した社会におけるソフトウェアエンジニアリング確立に向け研究、実践、人材育成の深化と拡大を通じ社会価値を提供し続ける。 • 場: 周辺と連携し、ソフトウェアエンジニアリング領域のプロフェッショナル集団を形成する • 参加者数 2020年7月 74名→ 2021年7月110名、SES2020 333名 • 国内外連携: MODELS 2021連携（General Chairs 岸教授、鵜林教授）、SWEBOK策定他 • 研究: 理論とデータに裏付けされて世界発信可能なソフトウェアエンジニアリング研究を促進して深掘りし広げる • 発表数 2020年7月 5件→ 2021年7月 9件、卓越研究賞 2020年 7件 • 実践: ソフトウェアエンジニアリングの実践を通じて社会へ実質的な価値を創造し続ける • 企業主体・産学連携発表数 2020年7月 1件→ 2021年7月 3件 • 人材育成: ソフトウェアエンジニアリングに関わる人々の成長と次世代育成を促進する • 推薦博士論文 2020年2件 → 2021年3件 • 渡航支援研究集会: 11月、2022年3月シンポジウム/ワークショップ • SES2021 9月6-8日 • ウィンターワークショップ 2022年1-2月ワーキンググループ • 要求工学、国際的研究活動活性化、ソフトウェアの評価、産学連携促進ほかぜひ入会ください！

33. 参考: enPit-Proスマートエスイー https://smartse.jp • 文科省社会人教育 enPiT-Pro AI・IoT×ビジネス • 正規履修履修証明プログラム10科目120時間 • 2020年からオンライン中心の短期コース履修も実施中 • 一部JMOOCオンライン提供中、関連内容をセミナー全国規模の14大学・研究所ネットワーク 26以上の企業・業界団体(会員企業5000 超)・自治体との連携 + + クラウドセンサ・IoT 人工知能ビッグデータ生成知識抽出革新情報処理アプリケーションビジネス価値創造題材・事例教材・指導受講生派遣・外部評価進学・共同研究接続教材・指導地区展開スマートエスイー通信・物理協力校 33

機械学習デザインパターンおよび機械学習システムの品質保証の取り組み

機械学習デザインパターンおよび機械学習システムの品質保証の取り組み

Recomendados

Más contenido relacionado

Was ist angesagt?

Was ist angesagt?(20)

Similar a 機械学習デザインパターンおよび機械学習システムの品質保証の取り組み

Similar a 機械学習デザインパターンおよび機械学習システムの品質保証の取り組み(20)

Más de Hironori Washizaki

Más de Hironori Washizaki(20)

機械学習デザインパターンおよび機械学習システムの品質保証の取り組み