SQuBOKガイドV3概説～IoT・AI・DX時代のソフトウェア品質とシステム監査～

1. SQuBOKガイドV3概説～IoT・AI・DX時代のソフトウェア品質とシステム監査～鷲崎弘宜 SQuBOK編纂チーム DXレポート2 WG1座長早稲田大学 / 国立情報学研究所 / システム情報 / エクスモーション IEEE Computer Society 副会長リカレント教育スマートエスイー事業責任者 Twitter: @Hiro_Washi washizaki@waseda.jp http://www.washi.cs.waseda.ac.jp/ 2021年12⽉27⽇システム監査学会定例研究会

2. 目次 • SQuBOK V3全体概要と既存領域 • 新領域におけるDX時代の品質 • IoT品質 • クラウド品質 • AI品質 • アジャイル品質 • オープンソース品質 • システム監査との関係 2

3. Guide to the Software Quality Body of Knowledge (SQuBOK) SQuBOKガイド品質の概念マネジメント品質技術 [出典・参考] 町田欣史, SQuBOKガイドの概要と活用のポイント, 2011年度ソフトウェア品質管理研究会第2回例会 • 背景 – ソフトウェアの位置付け変化、品質事故 – 『ソフトウェア品質向上技術は将来最も重要な技術』 METI調査 ’06 – 日本科学技術連盟＋品質管理学会 – 2007 v1、2015 v2、2020 v3 • 目的 – 日本の暗黙知を形式知化 – 最新のテーマを整理し、体系化 – 品質技術の認知度向上 – ソフトウェア品質技術者資格制度 JCSQE、人材育成・組織支援 • 対象読者 – 品質保証に携わるエンジニア – ソフトウェア技術者/管理者知識領域トピックトピック・・・推薦書籍推薦論文国際規格など 3

4. 品質基本概念、品質マネジメント組織レベルのソフトウェア品質マネジメントソフトウェア品質技術ソフトウェア品質マネジメント SQuBOKガイド V3 ソフトウェア品質の基本概念プロジェクトレベル（共通）のソフトウェア品質マネジメントプロジェクトレベル（個別）のソフトウェア品質マネジメント品質計画のマネジメント要求分析のマネジメント設計のマネジメント実装のマネジメントレビューのマネジメントテストのマネジメント品質分析・評価のマネジメントソフトウェア品質マネジメントシステムの構築と運用ライフサイクルプロセスのマネジメントソフトウェアプロセス評価と改善検査のマネジメント教育・育成のマネジメント法的権利・法的責任のマネジメント意思決定のマネジメント調達マネジメント構成管理リスクマネジメントプロジェクトマネジメント品質の概念品質のマネジメントの概念ソフトウェアの品質マネジメントの特徴リリース可否判定運用および保守のマネジメント 4 監査のマネジメント飯泉紀子、鷲崎弘宜、誉田直美監修、SQuBOK策定部会編、“ソフトウェア品質知識体系ガイド（第3版）－SQuBOK Guide V3－”、ISBN 978-4-274-22631-1、2020/11/21、オーム社

5. 品質技術ソフトウェア品質技術ソフトウェア品質マネジメント SQuBOKガイド V3 ソフトウェア品質の基本概念メトリクス工程に共通の品質技術工程に個別な品質技術専門的品質特性の技術モデル化の技法形式手法要求分析の技法設計の技法実装の技法レビューの技法テストの技法品質分析および評価の技法運用および保守の技法ユーザビリティの技法セーフティの技法プライバシの技法 5 セキュリティの技法飯泉紀子、鷲崎弘宜、誉田直美監修、SQuBOK策定部会編、“ソフトウェア品質知識体系ガイド（第3版）－SQuBOK Guide V3－”、ISBN 978-4-274-22631-1、2020/11/21、オーム社

6. 既存領域におけるV3改訂ポイント • 重複・詳細記述のスリム化 • 国際規格の改訂の反映 • ユーザビリティ、セキュリティ、セーフティ – 知識拡充 – 複雑化するソフトウェアシステムの扱い • プライバシ: 新設 – プライバシーの品質の概念 • OECDガイドライン、個人情報保護法、EU GDPR、JIS Q 15001、 ISO/IEC 29100、ISO/IEC 29134ほか – プライバシーの技法 • プライバシー影響評価（PIA）: ISO/IEC 29134、ISO 22307 • プライバシー保護技術（PET）: 匿名化、差分プライバシーほか 6

7. 拡充例: セーフティの技法 STAMP（Systems- Theoretic Accident Model and Process） • 安全のための制御を行う要素（コントローラー）と制御される要素（被コントロールプロセス）の相互作用へ着目 • 安全解析手法 STPA（System-Theoretic Process Analysis） 7 Leveson, Engineering a Safer World, 2012 Jati H. Husen, Hnin Thandar Tun, Nobukazu Yoshioka, Hironori Washizaki and Yoshiaki Fukazawa, “Goal-Oriented Machine Learning-Based Component Development Process,” ACM/IEEE 24th International Conference on Model Driven Engineering Languages and Systems (MODELS), Poster Track Hnin Thandar Tun, Jati H. Husen, Nobukazu Yoshioka Yoshioka, Hironori Washizaki and Yoshiaki Fukazawa, “Goal-Centralized Metamodel Based Requirements Integration for Machine Learning Systems,” 3rd International Workshop on Machine Learning Systems Engineering (iMLSE 2021) [Cmp2] Human- machine interface [Cmp3] Main control unit Start/stop System condition [Cmp1] Camera system [Cmp3.2] Lane detection system Start detection Request image Image Perception result [Cmp3.3] Vehicle detection system Start detection Request image Image Perception result [Cmp3.x] Trajectory prediction system Start decision making Trajectory decision Environment condition Driving control CA Not Providing Providing causes hazard Too early / Too late Start detecti on (UCA2-N-1) Lane perception system is not providing output [SC1][SC2] (UCA2-P-1) Poor perception of lane markings [SC1][SC2] (UCA2-T-1) Perception of lane marking is not real time [SC1][SC2] Request image (UCA6-N-1) Lane perception system has no input [SC1][SC2] (UCA6-P-1) Lane perception system receive poor quality image [SC1][SC2] (UCA6-T-1) Information of environment will not be real time [SC1][SC2] … … … …

9. • DX: デジタル化によりビジネスモデル変革 – デジタル技術: IoT、クラウド、AI、ソーシャルほか – 変革レベル: プロセス→組織→ビジネス領域→社会 • 問題 – 低リスクのオプションを選んで非常に少ない投資 – デジタライゼーションが技術に限った話と誤解 – 顧客が求めた時に直ちに対応できていない – 規約や標準へ厳格に従うばかりに変化やイノベーションを妨げ • 解決 – アジリティ、高速・適応的・仮説検証による不確実性の扱い – データ収集、エビデンスベース – アドホックから戦略的、複数を束ねるエコシステムへ – 階層化組織からアジャイル組織、ホラクラシーへデジタルトランスフォーメーション（DX）時代 Jan Bosch, Towards a Digital Business Operating System, International Conference on Software Technologies, ICSOFT 2017

10. DX時代のソフトウェアシステムのカタチ 10 クラウドビッグデータ IoT 人工知能・機械学習データ収集活用環境データ必須フィードバックオープンソース社会ビジネス価値アジャイル・DevOps 要請サービス・品質価値駆動データ駆動 • デジタル化によるビジネスモデル変革と価値創造 • アジリティを持ちデータ駆動のサービス提供・適応

11. ソフトウェアの品質と価値 • Weinberg「品質とは、誰かにとっての価値である」 11 ソフトウェアの価値: 顧客の満足、顧客のビジネス価値顧客価値: 顧客満足度、エンドユーザ満足度、市場満足度、顧客数、主要顧客満足度市場競争力: プロダクト競争力、市場投入までの時間、品質、製品パフォーマンス、UX 技術・アーキテクチャ: 実装上の複雑さ、製品アーキテクチャ、開発能力経済価値・収益性: ROI（投資利益率）、売上規模、顧客・市場シェア費用対効果: 開発コスト、再利用、サードパーティ製品利用コスト企業戦略: 企業戦略、製品戦略、ポートフォリオ、イネーブラー、企業ブランド鷲崎弘宜, DX時代に求められるソフトウェアの価値と品質および国際標準, 【Column】ソフトウェア品質はなぜ重要なのか？<連載>, ソフトウェア協会, 2021年12月3日 https://www.saj.or.jp/activity/project/psq/COLUMN_SWquality.html

12. 12 ソフトウェア品質の概念ソフトウェア品質マネジメントソフトウェア品質技術 SQuBOKガイド V3 応用領域人工知能システム IoTシステムクラウドサービスオープンソース利活用アジャイル開発と DevOps 応用領域担当: 鷲崎弘宜（取りまとめ）、石川冬樹、鄭顕志、松崎和賢、竹之内隆夫、長久勝、伊原彰紀、森田純恵ほか監修飯泉, 誉田, 鷲崎, ソフトウェア品質知識体系ガイド SQuBOK Guide V3, オーム社, 2021年 https://www.juse.or.jp/sqip/squbok/

13. 品質品質 SQuBOK応用領域と品質 13 レイヤスケールクラウド IoT 確率・追跡大規模・多様人工知能・機械学習オープンソース開発

15. IoTシステムの構成とAI 15 ZigBee ZigBee､BLE､Wi-Fi インターネット TCP/IP TCP/IP IoTｻｰﾊﾞ Android Open Accessory, BLE パブリッククラウド環境 Googl e Drive IoTゲートウェイ AWS M2X プライベートクラウド環境 PC スマホ Arduino Raspberry Pi 鷲崎, MCPC岡崎ほか, “スマートIoTシステムビジネス入門”, スマートエスイー2017-21 行動モノ洞察音響データ異常検知故障予知、点検･･画像データテキストデータ物体認識分類監視、認証・・物理世界 AI 市場予測、推薦・・

16. 16 IoTシステムにおける品質の概念 IoTシステムの品質保証マネジメント IoTシステムの品質技術（IPA『つながる世界の品質確保に向けた手引き』、MCPC『IoT 技術テキスト』など） IoTシステムにおける品質 • IoTセキュリティ • IoTプライバシ • IoTセキュリティ技術 • IoTプライバシー保護技術飯泉紀子、鷲崎弘宜、誉田直美監修、SQuBOK策定部会編、“ソフトウェア品質知識体系ガイド（第3版）－SQuBOK Guide V3－”、ISBN 978-4-274-22631-1、2020/11/21、オーム社

17. 例: IoTセキュリティベストプラクティス • IoTシステム全体 – 機微情報を保護する – 倫理的ハッキング奨励，包括的セーフハーバー – IoT セキュリティおよびプライバシー認証委員会 – ゼロトラスト • ネットワーク – 強固な認証 – 強力な暗号とセキュアなプロトコル – デバイスの帯域を最小化 – ネットワークをセグメント化 • デバイス – ハードウェアを耐タンパ – ファームウェアの更新やパッチを提供 – 動的テスト – デバイスを廃棄する際にデータ保護手順を指定 17 IEEE, Internet of Things (IoT) Security Best Practices, 2017 https://internetinitiative.ieee.org/images/files/resources/white_papers/internet_of_things_feb2017.pdf MCPC/鷲崎, スマートIoTシステム・ビジネス入門, スマートエスイー, 2020 IoTサーバ（アプリケーション） IoTデバイス（センサ／アクチュエータ） IoTゲートウェイ広域網 IoTエリアネットワーク

18. IoTシステム品質の留意点 • デジタル（サイバー）世界と物理世界の両面を捉えた品質マネジメント – 物理世界特有の難しさ – デジタルと物理の相違 – 通信・データの品質、必要性、捨てる発想 • システム・オブ・システムズとして捉えた品質マネジメント – 全体としての捉え方、境界のあいまいさ – 変動性、セキュリティ、セーフティ 18 鷲崎、誉田、金子、徳本、竹之内、「ソフトウェア品質のニューノーマルを探る」 SQuBOKガイドV3発行記念イベント http://www.juse.or.jp/sqip/squbok/#v3event

20. クラウドの構成 20 SaaS PaaSS IaaS BaaS IoT (M2X) Mobile (Parse) Gmail等 Google App Engine等 Amazon EC2/S3等 IaaS : Infrustructure as a Service PaaS: Platform as a Service SaaS: Software as a Service Baas: Backend as a Service アプリケーション APP実行環境ミドルウェア･OS コンピュータ（H/W）ユーザシステムサービスとして提供する範囲鷲崎, MCPC岡崎ほか, “スマートIoTシステムビジネス入門”, スマートエスイー2017-21

21. 21 クラウドサービスにおける品質の概念クラウドサービスの品質マネジメントクラウドサービスの品質技術（カスタマー観点、プロバイダー観点） • リスクマネジメントクラウドサービスにおける品質 • 機能適合性および互換性 • SLA • セキュリティ • 仮想化 • マイクロサービス • クラウドデザインパターン飯泉紀子、鷲崎弘宜、誉田直美監修、SQuBOK策定部会編、“ソフトウェア品質知識体系ガイド（第3版）－SQuBOK Guide V3－”、ISBN 978-4-274-22631-1、2020/11/21、オーム社

22. クラウドレイヤの扱い • レイヤを超えたデータとサービスの処理に伴うセキュリティ＆プライバシの扱い 22 ユーザ認可セキュア通信セキュア構成 OS堅牢性強化電子アクセス制御アプリケーションプラットフォームインフラクラウドサービスクラウドサービス

23. Chaos Engineering カオスエンジニアリングの原則 • Netflix社発: 分散システムが不安定な状態に耐えることの出来る環境を構築するための検証の規律 1. 定常状態の振る舞いの仮説の立案 – 測定可能なシステム出力に焦点: スループット、エラーレート、待ち時間パーセンタイルなど 2. 実世界の多様な事象を変数化 – サーバーのクラッシュ、ハードドライブの誤作動、ネットワーク接続の切断など 3. 本番環境で実験 – 継続的実行のため実験の自動化 – 影響範囲の最小化 23 http://principlesofchaos.org/

25. 25 人工知能システムにおける品質の概念人工知能システムの品質マネジメント人工知能システムの品質保証技術人工知能ベースシステムの品質 • 訓練・テストデータの品質 • モデルの品質 • 機械学習システムの品質 • 疑似オラクル • メタモルフィックテスティング • 頑健性検査 • ニューロンカバレッジ • 説明生成（PoC、監視、オンライン学習、更新など）飯泉紀子、鷲崎弘宜、誉田直美監修、SQuBOK策定部会編、“ソフトウェア品質知識体系ガイド（第3版）－SQuBOK Guide V3－”、ISBN 978-4-274-22631-1、2020/11/21、オーム社 25

26. 機械学習によるパラダイム転換と品質エンジニアリング 26 目標学習データ学習済みモデル活動 / システム (動作) 目標モデル活動 / システム (動作) データ従来のエンジニアリング: 演繹的(モデルが最初に与えられる) 機械学習ベース:帰納的(モデル・アルゴリズムがデータで決まる) 参考: 丸山宏, 機械学習工学に向けて, JST機械学習型システム開発へのパラダイム転換, 2017 E. Breck et al., The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction, IEEE Big Data 2017 内平直志, 「人工知能とソフトウェア工学・品質管理」, 第33年度ソフトウェア品質管理研究会第7回特別講義, 2017 ミス・偏りの無さ、網羅性性能、頑健さ、解釈・説明性合目的性、想定外対応疑似オラクル頑健性検査説明生成監視上位目標メタモルフィックテスティング組み入れ正しさ品質保証全体 PoC

27. 人工知能システムの品質の概念 • データの品質 – コンセプト・データドリフト • モデルの性能 – 正解率、混同行列 – ROC、AUC – 未学習、過学習 • モデルの頑健性 • モデルの説明可能性 • システムの品質 – KPI – 仮説検定 27 https://www.slideshare.net/dsuket/ss-57488780 予測陽性 Positive 陰性 Negative 正解陽性真陽性 True positive 偽陰性 False negative 陰性偽陽性 False positive 真陰性 True negative 未学習過学習

28. 人工知能システムの品質保証マネジメント • 試験的・探索的と顧客協力 • 監視と性能劣化検出 • オンライン学習と検証 • 成果物・版管理 – データ、プログラム、ハイパーパラメータ 28 全学習データ N個 N個まとめて誤差を計算して重みを更新１つの学習データ 1データごとに誤差を計算して重みを更新バッチ学習オンライン学習増倉孝一,スマートIoTシステムビジネス入門, スマートエスイー講義資料, 2018

29. 人工知能システムの品質保証技術 • 疑似オラクル – 別の実装や古いバージョンとの比較 – サーチベースドテスティング • メタモルフィックテスティング – 入力の変化により出力を予想可能な関係によるテスト – 例: ノイズを追加しても判定が変わってはならない • 頑健性検査 • ニューロンカバレッジ • 説明生成 29 小川秀人, https://www.slideshare.net/hidetoonoguchi/ss-138580863

30. ニューラルネットワークデバッグ（修正） • 再訓練 – 正攻法であるが、時間・コスト高 – 追加訓練データの検討の難しさ、性能悪化の可能性 • オンライン学習 – 特定データによる逐次学習を通じた修正 – 性能悪化の副作用の可能性 • データ拡充: 生成 [a]、選択 [b]、拡張 [c]など – モデルのパラメータを直接には修正せず試行錯誤 – 敵対的サンプルに対して脆弱な可能性 • 特定サンプルに応じたパラメータ直接変更 – 要因分析と修正 – 敵対的サンプルに対する特定ラベルに関する修正 [d] – 失敗データにおける影響個所の探索と修正 [e] 30 [a] Generative adversarial nets, NIPS 2014 [b] MODE: automated neural network model debugging via state differential analysis and input selection, ESEC/FSE 2018 [c] Autoaugment: Learning augmentation policies from data, arXiv:1805.09501, 2019 [d] 敵対的サンプルに対するニューラルネットワークモデルの学習無し修正とその評価, JSSST大会 2019 [e] Search Based Repair of Deep Neural Networks, arXiv:1912.12463, 2019

31. 敵対的サンプルに対する修正 [e] • 要因分析: 特定のラベルに対する検証データと誤認識データとのニューロン出力の平均値の差分による局所化 • 修正: 局所化した個所の重みパラメータの特定修正率による更新 → 検証データによるデグレ有無の確認 31 [d] 敵対的サンプルに対するニューラルネットワークモデルの学習無し修正とその評価, JSSST大会 2019 検証データによる平均値誤認識データによる平均値最優先で修正すべきニューロン

32. メタモルフィックテスティング • メタモルフィック関係に基づき大量に試験 • 入力への変化により、出力の変化を予想できる関係 – 例: A の検索結果数 ≧ A かつ B の検索結果数 – 例: sin(x) = sin(x + 360度) 32 入力変化出力変化並び変え無しノイズの追加意味的に同じ統計的に同じ経験的に近い僅か定数加乗算定数の加算、乗算狭める部分集合全く異なる互いに素 x t(x) f(x) g(f(x)) 変換t 変換g 参考: S. Segura et al., "Metamorphic Testing of RESTful Web APIs," IEEE Transactions on Software Engineering, 2017 参考: C. Murphy, “Applications of Metamorphic Testing”, http://www.cis.upenn.edu/~cdmurphy/pubs/MetamorphicTesting-Columbia-17Nov2011.ppt Y Tian, et al., DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous Cars, ICSE 2018 https://arxiv.org/pdf/1708.08559.pdf f(t(x)) = 変換f 変換f

33. 機械学習デザインパターン（例:パターン「説明可能な予測」 • 『機械学習デザインパターン ―データ準備、モデル構築、 MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021 – 問題: 予測の説明困難 – 解決: シンプルなモデル採用、予測結果における説明など 33 短時間 using 19990914 build on win98 using the new account wizard if I add multiple accounts with the same server… 長時間 this mean the problem was with their web page and its cool now or we still need to figure out … Y. Noyori, H. Washizaki, et al., “Extracting features related to bug fixing time of bug reports by deep learning and gradient-based visualization,” 2021 IEEE International Conference on Artificial Intelligence and Computer Applications 例: バグレポートの修正時間予測の深層学習モデルの説明 33 深層学習モデルの説明例: SmoothGrad SmoothGrad: removing noise by adding noise, 2017

34. AI/機械学習システム品質の留意点 • 総合的な取り組み – データ、モデル、ソフトウェア＆システムの各品質 – 目的と価値 • 本来的な複雑さ・不確実性 – 100%ではなく95%の正しさ、リスクのマネジメント – 顧客の期待値コントロール – 常時のモニタリングと対応 – 必然的にアジャイル&DevOps 34 鷲崎、誉田、金子、徳本、竹之内、「ソフトウェア品質のニューノーマルを探る」 SQuBOKガイドV3発行記念イベント http://www.juse.or.jp/sqip/squbok/#v3event

36. アジャイル開発とマインド • アジャイル宣言 http://www.agilealliance.org/ • 反復漸進、顧客（現場）フィードバック、変化適応的 • 「受け身・パートナー任せ」から「価値共創」へ 36 手順や道具人と対話文書動く内容や実活動契約交渉顧客や現場との協力計画通り変化への対応 ITベンダユーザ企業システム部 ITベンダユーザ企業システム部アジャイル拠点での共創経済産業省デジタルトランスフォーメーションの加速に向けた研究会, DXレポート2中間まとめ, 2020 https://www.meti.go.jp/press/2020/12/20201228004/20201228004.html 納品

37. 37 DevOpsとアジャイル開発における品質の概念 DevOpsとアジャイル開発品質保証マネジメント DevOpsとアジャイル開発の品質保証技術 • アジャイル品質保証パターン QA2AQ • アジャイルスキル体系 SFIA DevOpsとアジャイル開発における品質 • DevOpsにおける品質特性 • アジャイル開発の品質指標 • アジャイルメトリクス • 品質ダッシュボード • DevOpsとアジャイル開発のツールと自動化 • CI （継続的統合） • アジャイルテスト • 継続的テスト • シフトレフトテスト • シフトライトテスト • カナリアテスト飯泉紀子、鷲崎弘宜、誉田直美監修、SQuBOK策定部会編、“ソフトウェア品質知識体系ガイド（第3版）－SQuBOK Guide V3－”、ISBN 978-4- 274-22631-1、2020/11/21、オーム社

38. 例: アジャイル品質保証パターン QA2AQ 38 アジャイルプロセスの一環として、システムの品質を理解し、記述し、開発およびテストする方法を構築しましょう。重要なシステム品質の検査をアジャイルプロセスにどのように組み込み、QA担当者はプロセスのどこへ入ればよいでしょうか？鷲崎, 長谷川, 濱井, 小林, 長田, 田村, 陳, QA to AQ：アジャイル品質パターンによる、伝統的な品質保証からアジャイル品質への変革, CodeZine, https://codezine.jp/article/corner/813 スプリント計画製品ビジョン/ロードマップ製品ビジョン/ロードマップ利害関係者への展開利害関係者への展開機能受入テスト機能受入テストバックログ管理スプリント実行デイリーレビューフィードバックの取り込み重要な品質シナリオの特定品質項目を含める品質テスト品質テスト関連する品質タスクを含める品質テスト品質テスト

39. アジャイルテスト技術の拡充 • アジャイルテスト – 顧客・プログラマ・テスタ対話、イテレーション単位 • 継続的テスト – コード変更の都度、テスト自動実行 • シフトレフトテスト – 早い段階（仕様、設計など）でのテスト • シフトライトテスト – 本番稼働後のテスト – 例: カオステスト、カナリアテスト • カナリアテスト – 本番環境やユーザの一部でテストしてから展開 39

40. DevOpsにおける品質特性と品質維持技法 40 特性品質を高めるためのテクニック反復可能性アクティビティのトレースを残す。すべてのもののバージョンを管理する等。処理性能(パフォーマンス) プロセスのボトルネックを明らかにするための計測を行う。使っていない環境を解体する等。信頼性さまざまなサービスのエラー率を明らかにする。エラー率の高いサービスをミラーリングする等。回復可能性スクリプトに例外処理を組み込む。モニタリングサービスに情報を提供する。適切な診断を生成してデバッグ作業が早く終わるようにする。相互運用性安定したインタフェースを柔軟なスクリプト機能をもつツールを選ぶ。パイプラインのさまざまなフェーズデータモデルの一貫性を保つ。テスト可能性専用ツールのために単体,インテグレーションテストを行う。テストケースとモニタリング規則を調和させる。変更可能性ツールの予想される変更に基づいてスクリプトをモジュール化する。アクティビティを小さなモジュールにカプセル化し,モジュール同士の結合は疎になるようにする。 Len Bass，Ingo Weber，Liming Zhu，長尾高広（訳），DevOps教科書，日経BP社，2016 開発デプロイ・運用テスト・検証モニタリング Dev Ops

41. アジャイル&DevOps品質の留意点 • 従来の品質保証: 静的、コントロール – 主に特定の人々（品質保証部門、QA） – 主に特定の段階 – 開発完了後に品質の確認 • アジャイル&DevOps品質: 動的、マネジメント – 専門家を交えたチーム全体 – ロードマップ策定から日々のモニタリングに至るあらゆる段階 – 各イテレーションにおいて品質作りこみ: 動くソフトウェアのテスト、自動化、変更容易性ほか 41

43. 43 OSS利活用における品質の概念 OSS利活用の品質マネジメント OSS利活用の品質技術（OSS脆弱性データベース、マイニングリポジトリ）オープンソース利活用における品質（OSSのサポート、ライセンス）（OSS健全性評価メトリクス）飯泉紀子、鷲崎弘宜、誉田直美監修、SQuBOK策定部会編、“ソフトウェア品質知識体系ガイド（第3版）－SQuBOK Guide V3－”、ISBN 978-4-274-22631-1、2020/11/21、オーム社

44. OSS品質実態と組織成熟度 [Ajila07] • 北米18名のマネージャへのインタビュー＋文献調査 • OSSと商用ソフト間での品質の差は小さいか，ほぼ無い • OSSの体系的再利用は生産性や品質に良い影響 44 S.A. Ajila and D. Wu, Empirical study of the effects of open source adoption on software development economics, JSS, 8-0(9), 2007 初期観察調整計画的成熟奨励・文化非奨励奨励報奨教化業務直結計画性無し草の根機会命令戦略範囲個人チーム個所部門組織全体責任個々共有専門家専門チーム協力チーム＆リエゾンプロセスカオス設計後設計時部品開発全製品が再利用意図メトリクス無し再利用 LOC 再利用回数部品費用対効果再利用追跡

45. OSS再利用の生産性・品質影響 [Basili96] • 再利用規模 – Reuse(C) = (1 - %Change) × Size(C) – Reuse(S) = ∑ Reuse(C) • 再利用率 ReuseRate(S) = Reuse(S) / Size(S) • 生産性 Productivity(S) = Size(S) / DevEffort(S) • 学生8プロジェクト，C++ライブラリ再利用 45 V. Basili, et a., How reuse influences productivity in object-oriented systems, CACM, 39(1), 1996

46. OSSホワイトボックス再利用と由来 46 O1 O12 O2 O13 O123 O23 O3 Apache (1) Oracle (2) Sun (3) 例: OpenOffice コードの規模・複雑さメトリクス由来変更回数変更規模欠陥 S. Sato, H. Washizaki et al., Effects of Organizational Changes on Product Metrics and Defects, APSEC'13 R. Ishizue, H. Washizaki, et al., “Metrics visualization technique based on the origins and function layers for OSS-based development,” VISSOFT 2016 R. Ishizue, H. Washizaki, et al., “Metrics Visualization Techniques based on Historical Origins and Functional Layers for Developments by Multiple Organizations,” IJSEKE, Vol.28, No.9, pp.1-25, 2018.

47. 健全性評価 CHAOSS (Community Health Analytics Open Source Software) • 多様性の組み入れ Diversity-Inclusion – OSS組織の多様性、組織に参加する個人の多様性、組織体制の観点で公平な協調作業を実践しているか – 例: 参加者性別、年齢、スキル、貢献者人数、昇格 • 成長-成熟-衰退 Growth-Maturity-Decline – 不具合解決、プログラム実装、組織の成熟度、また、組織の発展過程、衰退傾向 – 例: 不具合解決数、解決時間、変更数、参加者数 • リスク Risk – 人的要因、ライセンス、脆弱性の観点で組織が負うリスク – 例: ライセンスの内容、脆弱性数 • 価値 Value – 組織に参加する価値 – 例: 市場価値、ダウンロード数、製品への導入数 47 https://chaoss.community/metrics/

49. 再掲: DX時代のソフトウェアシステム 49 クラウドビッグデータ IoT 人工知能・機械学習データ収集活用環境データ必須フィードバックオープンソース社会ビジネス価値アジャイル・DevOps 要請サービス・品質価値駆動データ駆動 • デジタル化によるビジネスモデル変革と価値創造 • アジリティを持ちデータ駆動のサービス提供・適応

50. 組織的な品質マネジメントに向けて • 例: GQM+Strategies • 例: ISO/IEC 27001 情報セキュリティマネジメントシステム 50 1. 特性把握 2. 目標定義 3. 評価モジュール、プロセス定義 4. プロセス実行 6. 全体の改善・展開 5. 結果の分析、評価モジュール改訂 4c. 戦略・改善実施 4b. フィードバック 4a. 測定評価 Victor Basili, Adam Trendowicz, Martin Kowalczyk, Jens Heidrich, Carolyn Seaman, Jürgen Münch, Dieter Rombach 著, 鷲崎弘宜, 小堀貴信, 新谷勝利, 松岡秀樹監訳, 早稲田大学グローバルソフトウェアエンジニアリング研究所ゴール指向経営研究会訳, “ゴール&ストラテジ入門: 残念なシステムの無くし方 (GQM+Strategies)”, オーム社, 2015

51. AI・IoT・DX時代のシステム監査の論点 • 対象: データ、ソフト、システム – クローズよりもオープンへ – 静的よりも動的へ • プロセス – アジャイル＆DevOpsが標準 – 計画よりも変化へ • 基準 – 単純・確実から複雑・不確実へ – 100%よりも95%の正しさとリスクへ – 要求よりも価値へ 51 プロセス参考: 産業技術総合研究所サイバーフィジカルセキュリティ研究センターテクニカルレポート CPSEC-TR- 2020001, 機械学習品質マネジメントガイドライン, https://www.cpsec.aist.go.jp/achievements/aiqm/ 構想・企画システム定義リスク分析要求定義データ準備プロト開発実験・評価利用終了性能監視運用統合検査データ準備修正データ収集本開発品質検査改修品質検査システム更新 PoC アジャイル Dev Ops

52. 参考人材育成: スマートエスイー 52 ⚫ IoT・AI・DX時代のリカレント教育 https://smartse.jp ⚫ コンソーシアムを通じた交流、地域展開、調査研究クラウドセンサ・IoT 人工知能ビッグデータ生成知識抽出革新アプリケーションビジネス価値創造通信・物理情報処理総合実践連携校(13校）茨城大学群馬大学東京学芸大学東京工業大学大阪大学九州大学工学院大学東京工科大学東洋大学鶴見大学北陸先端科学技術大学院大学奈良先端科学技術大学院大学情報・システム研究機構 (国立情報学研究所) 協力校(2校）立命館大学 The BigClouT Project 教材・指導地区展開進学・共同研究接続連携企業・業界団体（23団体）日本電気富士通日立製作所東芝いい生活ヤフーモバイルコンピューティング推進コンソーシアム次世代センサ協議会日本IT団体連盟 IT検証産業協会コンピュータソフトウェア協会組込みシステム技術協会電子情報技術産業協会全脳アーキテクチャ・イニシアティブ新経済連盟先端IT活用推進コンソーシアム日本オープンオンライン教育推進協議会デンソーハレックス情報医療システム情報題材・事例教材・指導受講生派遣外部評価想定受講者情報系の一定知識を持っている人組込み・ IoTプロフェッショナルクラウド・ビジネスイノベーターシステムオブシステムズ・品質アーキテクト目標人材像環境連携 BigClouT (日欧ビックデータ・クラウド・IoT融合基盤） JMOOC (オンライン大学講座）オンライン全国展開実施拠点 WASEDA NEO (コレド日本橋内）社会人教育プログラムスマートエスイー SmartSE IoT・ビッグデータ・AI × ビジネス IoT・クラウド、ビッグデータ、人工知能を活用し、高セキュリティかつプライバシを考慮したスマートシステム＆サービスを開発運用し、技術領域や分野を超え価値創造をグローバルにリード可能な実践的人材の育成と全国展開 IoT・クラウド、ビッグデータ、人工知能を活用し、高セキュリティかつプライバシを考慮したスマートシステム＆サービスを開発運用し、技術領域や分野を超え価値創造をグローバルにリード可能な実践的人材の育成と全国展開

SQuBOKガイドV3概説～IoT・AI・DX時代のソフトウェア品質とシステム監査～

SQuBOKガイドV3概説～IoT・AI・DX時代のソフトウェア品質とシステム監査～

Recomendados

Más contenido relacionado

Was ist angesagt?

Was ist angesagt?(20)

Similar a SQuBOKガイドV3概説～IoT・AI・DX時代のソフトウェア品質とシステム監査～

Similar a SQuBOKガイドV3概説～IoT・AI・DX時代のソフトウェア品質とシステム監査～(20)

Más de Hironori Washizaki

Más de Hironori Washizaki(20)