ソフトウェアテストの変遷と最近の品質管理の方向性

(C) Keizo Tatsumi 2021
1
辰巳敬三
2021年2月26日
ソフトウェアテストの変遷と
最近の品質管理の方向性

2
最近よく見る用語
ニューノーマル(New Normal)
『以前なら考えられなかったようなことが当たり前の状態になる
ことを意味する言葉』
この言葉が使われるようになったきっかけは、2008年のリーマ
ンショックだそうです。当時の米国ではあらゆる経済指標が少
し前には考えられなかった異常な水準まで落ち込み、こうした
状態が一時的なものではなくこれからも長く続く「新しい普通の
状態」という意味で、ニューノーマルという言葉が盛んに使われ
ました。
[出典] 朝日新聞グローブ, 豊かさのニューノーマル, 2017年12月3日号

3
❑ソフトウェア開発/テストのニューノーマル
Michael Sowers (Techwell社CIO & Sr. Consultant)
[出典] Michael Sowers, The New Normal for Software Development and Testing, Better Software Magazine, 2017
Better Software Magazine, Fall 2017

4
デジタル・トランスフォーメーション(DX)
『企業がビジネス環境の激しい変化に対応し、データとデジタル
技術を活用して、顧客や社会のニーズを基に、製品やサービス
、ビジネスモデルを変革するとともに、業務そのものや、組織、
プロセス、企業文化・風土を変革し、競争上の優位性を確立す
ること。』
[出典] 経済産業省,デジタルトランスフォーメーションを推進するためのガイドライン, 2018年12月
https://www.meti.go.jp/press/2018/12/20181212004/20181212004-1.pdf

5
DXに関連した用語
❑デジタルビジネス (Digital Business) [Gartnerの定義]
仮想と物理の世界を融合して人／モノ／ビジネスが直接つ
ながり、顧客との関係が瞬時に変化していく状態が当たり
前のビジネス形態のこと
このデジタルビジネスへの改革プロセスが「デジタルビジネ
ストランスフォーメーション」
❑デジタル・ディスラプション (Digital Disruption)
デジタルテクノロジーによる破壊的イノベーション。既存の
ものを破壊するような革新的なイノベーションを指す
ex. Uber(ウーバー)、Airbnb（エアービーアンドビー）

6
“Digital Transformation”
2011 2015 2020
2012 2013 2014 2019
2016 2017 2018
“デジタルトランスフォーメーション”
❑Google Trends (検索トレンド)
経済産業省
DXレポート発行

7
今日、お話ししたいこと
1. ソフトウェアテストの変遷
2. 最近の品質管理の方向性
3. 次のニューノーマル
4. まとめ

8
ソフトウェアテストの変遷
ソフトウェア技術と社会の変遷
ソフトウェアマネジメントの変遷
ソフトウェア工学の変遷

9
ソフトウェア工学、テスト技術年表
http://a-lifelong-tester.cocolog-nifty.com/Chronology/History_of_Software_TestingChronology_20120719_Japanese.pdf

10
❑ Capers Jones, “The Technical and Social
History of Software Engineering,” 2013
[出典] Capers Jones, "The Technical and Social History of Software Engineering," Addison-Wesley, 2013
1950年～1959年：デジタルコンピュータとソフトウェアの登場
1960年～1969年：ビジネスコンピュータ/ソフトウェアの台頭
1970年～1979年：コンピュータとソフトウェアによる富の創造
1980年～1989年：パーソナルコンピュータ/ソフトウェアの台頭
1990年～1999年：WWWの拡大と.comの台頭
2000年～2009年：ソーシャルネットワークの台頭と経済危機
2010年～2019年：クラウド(Cloud, Crowd), ブログ, ビッグデータ, 予測分析

11
1950 1980 1990
1960 1970 2000 2010 2020
▲ ▲ ▲
EDSAC(最初のﾉｲﾏﾝ型ｺﾝﾋﾟｭｰﾀ) IBM System/360 IBM System/370 Cray-1(スパコン)
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲
UNIVAC1(世界初の商用ｺﾝﾋﾟｭｰﾀ) DEC PDP-1 DEC PDP-8 Apple PC IBM PC ▲ Apple Macintosh iPhone iPad
▲ ▲ ▲ Sun-1 ▲ ▲
IBM 701 IBM 704 Intel 4004MPU Sun SPARC Intel Pentium Pro
(科学演算用) ● ●
(Apple社設立) (Sun Microsystems社設立)
▲ ▲ ▲ ▲ ▲ ▲ ▲
OS/360 UNIX CP/M MS-DOS UNIX System V Linux Windows NT ▲
(4004MPU用OS) Netware ▲ ▲ ▲ Android
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲ Windows 3.1 ▲ J2EE .NET ▲
SpeedCode FORTRAN FORTRAN COBOL LISP PL/I C言語 ▲ C++ ▲ Java ▲ Ajax
開発開始 ▲ ALGOL Smalltalk-72 Smalltalk-80 Eiffel ▲ ▲Internet Explorer Ruby on Rails
FLOW-MATIC ▲ Netscape ▲ ▲ ▲
● ● HTML/HTTP/WWW XML ● SOAP ● HTML5
(Microsoft社設立) (Free Software Foundation) (Apache Software Foundation) (Eclipse Foundation)
▲SAGE(防空管制システム) ▲ ● ● ▲ ▲
▲SABRE(航空座席予約システム) CompuServe America Online Amazon.com Amazon Web Services Amazon EC2
▲マーキュリー計画 (商用オンラインサービス) ● ● Google Docs & Spreadsheets
▲ジェミニ計画 Yahoo! Google ☆クラウド・コンピューティング
▲アポロ計画発表 ▲アポロ11号有人月面着陸 ● ●
eBay Salesforce.com
● ●
Facebook Twitter
コンピュータとソフト
ウェアによる富の
創造
1970年～1979年
パーソナルコン
ピュータ/ソフトウェ
アの台頭
1980年～1989年
ビジネスコンピュー
タ/ソフトウェアの台
頭
1960年～1969年
デジタルコンピュー
タとソフトウェアの
登場
1950年～1959年
ワールドワイドウェ
ブの拡大とドットコ
ムの台頭
1990年～1999年
ソーシャルネット
ワークの台頭
と経済危機
2000年～2009年
Clouds, Crowds,
ブログ, ビッグデー
タ, 予測分析
2010年～2019年

12
1950 1980 1990
1960 1970 2000 2010 2020
▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ Sun-1 ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲ Windows 3.1 ▲ J2EE .NET ▲
eBay Salesforce.com
● ●
Facebook Twitter
創造
1970年～1979年
アの台頭
1980年～1989年
頭
1960年～1969年
登場
1950年～1959年
ムの台頭
1990年～1999年
ワークの台頭
と経済危機
2000年～2009年
Clouds, Crowds,
タ, 予測分析
2010年～2019年
デジタルコンピュータとソフトウェ
アの登場
1950年～1959年

13
1950 1980 1990
1960 1970 2000 2010 2020
▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ Sun-1 ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲ Windows 3.1 ▲ J2EE .NET ▲
eBay Salesforce.com
● ●
Facebook Twitter
創造
1970年～1979年
アの台頭
1980年～1989年
頭
1960年～1969年
登場
1950年～1959年
ムの台頭
1990年～1999年
ワークの台頭
と経済危機
2000年～2009年
Clouds, Crowds,
タ, 予測分析
2010年～2019年
1960年～1969年
ビジネスコンピュータ／ソフト
ウェアの台頭

14
1950 1980 1990
1960 1970 2000 2010 2020
▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ Sun-1 ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲ Windows 3.1 ▲ J2EE .NET ▲
eBay Salesforce.com
● ●
Facebook Twitter
創造
1970年～1979年
アの台頭
1980年～1989年
頭
1960年～1969年
登場
1950年～1959年
ムの台頭
1990年～1999年
ワークの台頭
と経済危機
2000年～2009年
Clouds, Crowds,
タ, 予測分析
2010年～2019年
コンピュータとソフトウェアによる
富の創造
1970年～1979年

15
1950 1980 1990
1960 1970 2000 2010 2020
▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ Sun-1 ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲ Windows 3.1 ▲ J2EE .NET ▲
eBay Salesforce.com
● ●
Facebook Twitter
創造
1970年～1979年
アの台頭
1980年～1989年
頭
1960年～1969年
登場
1950年～1959年
ムの台頭
1990年～1999年
ワークの台頭
と経済危機
2000年～2009年
Clouds, Crowds,
タ, 予測分析
2010年～2019年
パーソナルコンピュータ／ソフト
ウェアの台頭
1980年～1989年

16
1950 1980 1990
1960 1970 2000 2010 2020
▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ Sun-1 ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲ Windows 3.1 ▲ J2EE .NET ▲
eBay Salesforce.com
● ●
Facebook Twitter
創造
1970年～1979年
アの台頭
1980年～1989年
頭
1960年～1969年
登場
1950年～1959年
ムの台頭
1990年～1999年
ワークの台頭
と経済危機
2000年～2009年
Clouds, Crowds,
タ, 予測分析
2010年～2019年
ワールドワイドウェブの拡大と
ドットコムの台頭
1990年～1999年

17
1950 1980 1990
1960 1970 2000 2010 2020
▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ Sun-1 ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲ Windows 3.1 ▲ J2EE .NET ▲
eBay Salesforce.com
● ●
Facebook Twitter
創造
1970年～1979年
アの台頭
1980年～1989年
頭
1960年～1969年
登場
1950年～1959年
ムの台頭
1990年～1999年
ワークの台頭
と経済危機
2000年～2009年
Clouds, Crowds,
タ, 予測分析
2010年～2019年
ソーシャルネットワークの台頭と
経済危機
2000～2009年

18
1950 1980 1990
1960 1970 2000 2010 2020
▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ Sun-1 ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲ Windows 3.1 ▲ J2EE .NET ▲
eBay Salesforce.com
● ●
Facebook Twitter
創造
1970年～1979年
アの台頭
1980年～1989年
頭
1960年～1969年
登場
1950年～1959年
ムの台頭
1990年～1999年
ワークの台頭
と経済危機
2000年～2009年
Clouds, Crowds,
タ, 予測分析
2010年～2019年
Clouds, Crowds, ブログ, ビッグ
データ, 予測分析
2010～2019年

19
❑ V. Basili and J. Musa, “The Future Engineering
of Software: A Management Perspective,” 1991
1960年代: 機能の時代
1970年代: スケジュールの時代
1980年代: コストの時代
1990年代: 品質の時代
[出典] V. Basili and J. Musa, The Future Engineering of Software: A Management Perspective, 1991

20
❑1960年代: 機能の時代
ITが社会に入り始めた
社会的ニーズに応えられる機能の開発が主要課題
1950 1980 1990
1960 1970 2000 2010
スケジュールの時代コストの時代品質の時代
機能の時代
❑1970年代: スケジュールの時代
ソフトウェア危機(NATO会議,1968年)
計画期間内にソフトウェア開発を完了させることが主要課題
工程を明確化したライフサイクルモデルが紹介され始めた
ex. Royce waterfall model、品質モデル

21
❑1980年代: コストの時代
ハードウェアコストの継続的低減、パソコンの出現
ソフトウェアの価格の高さに目が向き始め、コスト/生産性が
主要課題
各種のコストモデルが提案され、適用され始めた
ex. Function Point、Putnamモデル、COCOMO
1950 1980 1990
1960 1970 2000 2010
スケジュールの時代コストの時代品質の時代
機能の時代
❑1990年代: 品質の時代
ソフトウェアに対する社会の依存度の増大
マスマーケットでの利用者が増え、ソフトウェアの故障や使
いにくさが深刻な事態を招くことが広く認識されはじめる

22
❑ Barry W. Boehm, “A View of 20th and 21st
Century Software Engineering,” 2006
1950年代: ハードウェア工学的なソフトウェア工学
1960年代: ソフトウェア工芸(Crafting)
1970年代: 形式化とウォータフォールプロセス
1980年代: 生産性と拡張性
1990年代: 並行プロセス対順次プロセス
2000年代: 俊敏性(Agility)と価値
[出典] B. Boehm, A View of 20th and 21st Century Software Engineering, 2006

23
自律;
バイオ・
コンピュー
ティング
1990年代 2010年代
2000年代
1970年代 1980年代
1960年代
1950年代
COTS
工芸品
としての
ソフトウェア
テーゼ
(正)
ジン
テーゼ
(合)
アンチ
テーゼ
(反)
形式化;
ウォータ
フォール
生産性;
再利用;
オブジェクト;
ピープルウェア
計画駆動の
ソフトウェア
成熟度
モデル
アジャイル
メソッド
ハードウェア
のような
ソフトウェア
の扱い
リスクベース・
アジャイルと
計画駆動の
ハイブリッド;
モデル駆動開発
ソフトウェア
工学と
システム工学
の統合
バリューベース法;
コラボレーション;
グローバル開発;
エンタープライズ・
アーキテクチャ
ソフトウェアと
ハードウェアの違い,
技術者の不足
多くの欠陥
スケーラビリティ,
リスクマネジメント
プロトタイピング
Time to Market,
迅速な変化
スケーラビリティ
ドメイン工学
リスクマネジメント
準拠
プロセス・オーバヘッド
ソフトウェアの
付加価値
ソフトウェア－
システム工学
グローバルな
Systems
of
Systems
[出典] B. Boehm, A View of 20th and 21st Century Software Engineering, 2006のプレゼンテーションスライドから引用
1950 1980 1990
1960 1970 2000 2010
形式化とウォータ
フォールプロセス
生産性と拡張性
ソフトウェア工芸
(Crafting)
ハードウェア工学的
並行プロセス vs.
順次プロセス
俊敏性と価値
❑ ソフトウェア工学の弁証法的(ヘーゲル的)進化

24
❑ D. Gelperin and W. Hetzel,
“The Growth of Software Testing,” 1988
[出典] D. Gelperin and W. Hetzel, "The Growth of Software Testing," 1988
～1956年：デバッグ指向の時代
～1978年：論証指向の時代
～1982年：破壊指向の時代
～1987年：評価指向の時代
1988年～：予防指向の時代

25
[出典] D. Gelperin and W. Hetzel, "The Growth of Software Testing," 1988
評価
指向
論証指向
破壊
指向
デバッグ指向予防指向
1950 1980 1990
1960 1970 2000 2010
❑ ～1956年: デバッグ指向の時代
デバッグとテストが区別されていなかった
❑ ～1978年: 論証指向の時代
テストはプログラムが仕様を満足していることを示すためのもの
❑ ～1982年: 破壊指向の時代
テストとは、エラーをみつけるつもりでプログラムを実行する過程
❑ ～1987年: 評価指向の時代
ソフトウェアのライフサイクルを通じた評価活動の中にテストが位置付け
られた
❑ 1988年～: 予防指向の時代
ソフトウェアライフサイクルと並行して進められる予防指向のテストプロ
セス

26
1950 1980 1990
1960 1970 2000 2010 2020
創造
1970年～1979年
アの台頭
1980年～1989年
頭
1960年～1969年
登場
1950年～1959年
ムの台頭
1990年～1999年
ワークの台頭
と経済危機
2000年～2009年
Clouds, Crowds,
タ, 予測分析
2010年～2019年
Concolic Testing
Program Testing
の教科書
デシジョンテーブル
をテストに利用
同値分割/
限界値分析
ドメインテスト
状態遷移テスト
原因結果グラフ
変異テスト
パス解析カバレッジ
データフローテスト
直交表テスト
Search-based Testing
ｻｲｸﾛﾏﾁｯｸ複雑度
Agile Testing
運用プロファイル
“Program Testing”と
いう用語の出現
評価
指向
論証指向
破壊
指向
デバッグ
指向
予防指向
これまでのテスト技法は
ハードウェア、ソフトウェア、
システムの進展との関係
はあまり見出せない
Pairwiseテスト
探索的テスト
Myersの書籍
(テスト技法)

27
(テスト自動化)
❑テスト自動化の歴史
1960年代：テスト自動化の事始め
1970年代：自動検証システム
1980年代： UNIX, PCのツール
1990年代：インターネット/WEBへ
商用ツールの増加
テスト自動化技術の確立
2000年代： OSSツール/モバイル

▲ ▲ ▲ ▲
▲ ▲ ▲ ▲ ▲
UNIVAC1(世界初の商用ｺﾝﾋﾟｭｰﾀ) DEC PDP-1 DEC PDP-8 Apple PC IBM PC
▲ ▲ ▲
IBM 701 IBM 704 Intel 4004MPU
(科学演算用) ●
(Apple社設立) (Sun Microsyste
▲ ▲ ▲ ▲
OS/360 UNIX CP/M MS-DOS
(4004MPU用OS)
▲ ▲ ▲ ▲ ▲ ▲ ▲
SpeedCode FORTRAN FORTRAN COBOL LISP PL/I C言語 ▲
開発開始 ▲ ALGOL Smalltalk-72 Smalltalk-80
FLOW-MATIC
●
(Microsoft社設立)
1965 1970
1950 1955 1960 1975 1980
28
-1960年代- テスト自動化の事始め
❑ テスト自動化の初期の論文
1962年 Automatic Program Testing (Renfer、IBMカナダ)
Program Testing Packageによるテスト手順の標準化と計算機時間効率化
内容 : ファイル生成機能 (テープ、ディスク)
印刷機能 (メモリ、メモリ・スナップショット、テープ)
トレース (ディスクファイル、ブランチトレース)
プログラマが用意した操作指示カードから操作指示書の生成

29
-1970年代- 自動検証システム
❑ 自動検証システム
PACE (Product Assurance Confidence Evaluator) [TRW社,1972]
PET (Program Evaluater and Tester) [McDonnell Douglas社,1972]
RXVP [General Research社,1974]
❑ ソフトウェアツールの拡大 (ツールのリストができるほどに活発化)
Automated Aids for Reliable Software (1975)
A Glossary of Software Tools & Techniques (1977)
▲ ▲
IBM System/370 Cray-1(スパコン)
▲ ▲ ▲
Apple PC IBM PC ▲ Apple Macintosh
▲ Sun-1 ▲ ▲
Intel 4004MPU Sun SPARC Intel Pentium Pro
● ●
▲ ▲ ▲ ▲ ▲ ▲
UNIX CP/M MS-DOS UNIX System V Linux Windows NT
(4004MPU用OS) Netware ▲ ▲ ▲
▲ ▲ Windows 3.1 ▲ J2EE .NET
C言語 ▲ C++ ▲ Java
Smalltalk-72 Smalltalk-80 Eiffel ▲ ▲Internet Explorer
▲ Netscape ▲
● ● HTML/HTTP/WWW XML ●
(Microsoft社設立) (Free Software Foundation) (Apache Software Foundation)
1970 2000
1975 1980 1985 1990 1995

30
-1980年代中盤- UNIX, PCのツール
❑UNIX、PC上のテスト自動化ツールの出現
1985年 AutoTester社 (Randy & Linda Hayes)
最初のPC上のテスト自動化ツールAutoTesterを開発
1986年 Performance Awareness社 (1997年にRationalが買収)
preVue 出荷 (capture-replay, 性能測定、multi-user testingなど)
1989年 Mercury Interactive社 (2006年にHPが買収)
1991年に最初の製品を出荷
▲ ▲
▲ ▲ ▲
▲ Sun-1 ▲ ▲
● ●
▲ ▲ ▲ ▲ ▲ ▲
▲ Netscape ▲
1970 2000
1975 1980 1985 1990 1995

31
-1990年代- インターネット/WEBへ
▲ ▲
▲ ▲ ▲
▲ Sun-1 ▲ ▲
● ●
▲ ▲ ▲ ▲ ▲ ▲
▲ Netscape ▲
1970 2000
1975 1980 1985 1990 1995
❑UNIX、PC、更にインターネット/WEBに展開
Mercury Interactive社の場合
1991年 XRunner<UNIX>
1993年 WinRunner<PC>, LoadRunner<UNIX>
1996年 WebTest
1999年 QuickTest

32
-1990年代- 商用ツールの増加
▲ ▲
▲ ▲ ▲
▲ Sun-1 ▲ ▲
● ●
▲ ▲ ▲ ▲ ▲ ▲
▲ Netscape ▲
1970 2000
1975 1980 1985 1990 1995
❑商用ツールの増加
1987年 SQE tools catalogue (米国で利用可能なツール)
認定製品数： 1987年-50、1991年初-146、1991年末-190
1991年 The CAST Report 1st Ed. (Graham)
(英国で)利用可能な商用テストツールの一覧と解説を記載
82製品を掲載 cf. 1989年は25製品(英国計算機センターのリスト)
CAST : Computer Aided
Software Testing
[出典] D. Graham, "Software Testing Tools: A New Classification Scheme," 1991

33
-1990年代- テスト自動化技術の確立
❑テスト自動化の書籍
1995年 Automated Testing Handbook
(L. Hayes)
最初のテスト自動化の書籍と言われている
1996年 Automating Specification-Based
Software Testing (R. Poston)
1999年 Automated Software Testing
(E. Dustin et al.)
2002年に翻訳版出版(ピアソンエデュケーション)
1999年 Software Test Automation
(M. Fewster & D. Graham)
2014年に翻訳版出版(テスト自動化研究会, 翔泳社)

34
-2000年代- OSSツール/モバイルへ
❑テスト自動化の対象プラットフォームの変遷
▲ ▲ ▲ ▲
IBM PC ▲ Apple Macintosh iPhone iPad
Sun-1 ▲ ▲
Sun SPARC Intel Pentium Pro
●
(Sun Microsystems社設立)
▲ ▲ ▲ ▲
MS-DOS UNIX System V Linux Windows NT ▲
Netware ▲ ▲ ▲ Android
▲ Windows 3.1 ▲ J2EE .NET ▲
▲ C++ ▲ Java ▲ Ajax
Smalltalk-80 Eiffel ▲ ▲Internet Explorer Ruby on Rails
▲ Netscape ▲ ▲
● HTML/HTTP/WWW XML ● SOAP ●
(Free Software Foundation) (Apache Software Foundation) (Eclipse Foundation)
● ● ▲ ▲
CompuServe America Online Amazon.com Amazon Web Services Amazon EC2
商用オンラインサービス) ● ● Google Docs & Spreadsheets
Yahoo! Google ☆クラウド・コンピューティング
● ● ● ●
eBay Salesforce.com Facebook Twitter
2010
2000 2005
1980 1985 1990 1995
メインフレーム
PC DOS Mobile
UNIX, GUI
PC GUI
WEB
(OSSツール)
▲
1998
Bugzilla
▲
2001
Jmeter
OpenSTA
▲
2002
JIRA
TDD/xUnit
▲
2004
Selenium
・・・

▲ ▲
▲ iPhone iPad
IEEE 802.11(WiFi)
▲ ▲
Linux ▲ Windows NT ▲ ▲ ▲
Windows 3.1 ▲ J2EE .NET ▲ ▲ Android
Java Ruby on Rails Ajax
▲ ▲ ▲ ▲ ▲ ▲ ▲ ▲
HTML/HTTP/WWW Netscape Internet Explorer XML ■ SOAP ■ Hadoop OpenStack ▲ HTML5
(Apache Software Foundation) (Eclipse Foundation) Deep Learning(ILSVRCｺﾝﾃｽﾄ)
● ● ● ★ ★ ★
Amazon Yahoo! Google Cloud Computing Industrie 4.0 Industrial Internet
● ● ● ● ● ● ●
eBay Salesforce LinkedIn Facebook Twitter Instagram Snapchat
● ● ● ● ● ●
SoueceForge ▲ Flickr YouTube Netflix Spotify Pinterest
iTunes (streaming) ● ●
Airbnb Uber
●
Bitcoin
▲ ▲ ▲ ▲ ▲
Booch法デザインパターン UML アスペクト指向 UML 2.0
▲ ▲ ▲
オブジェクト指向 Software Architecture ▲ ★ ▲ Microservices
ソフトウェア工学 XP アジャイル宣言 Scrum
▲ ◆ ▲
Junit TDD BDD
★ ★ ◆
Continuous Integration DevOps Continuous Delivery
▲ ▲ ▲
Hudson Jenkins Jenkins 2.0
● (Hudson名称変更) (パイプラインplugin)
▲ Github ▲ ▲ ▲
Amazon Web Services Microsoft Azure Docker Kubernetes
★ ◆ ★
▲ Agile Testing Agile Testing Continuous Testing
Component-based ▲ ▲ (Crispin & Gregory) ★
Testing Architecture-based Search-based testing ▲ Chaos Engineering
Testing Concolic testing (Netflix)
▲ ▲ ▲ ▲ ▲
XRunner ▲ WebTest QuickTest Selenium ★ Appium
WinRunner ◆ Testing as a Service ▲
LoadRunner Software Test Automation (Fewster & Graham) Chaos Monkey (Netflix)
2015
1995 2000 2005 2010
ハードウェア
ソフトウェア
サービス
開発技法
テスト技法
テストツール
開発ツール
実行環境
ニューノーマル/DX時代へ
デジタルビジネス
→ DX
・Sharing Economy
・FinTech, xxTech etc.
35
SMAC
・Social Media (SNS)
・Mobile
・Analytics (Big Data)
・Cloud
IoT
AI
インターネット/Web技術
.com企業
デジタル破壊
アジャイル
クラウド基盤
Continuous Everything
アジャイル、シフトレフト/ライト
アジャイル
テスト
継続的テスト
テスト自動化
CI/CD
DevOps
モバイル
SNS
AI
クラウド
IoT

36
最近の品質管理の方向性
ニューノーマル/DX時代の背景
ソフトウェア開発のニューノーマルの特徴
テストのニューノーマル

37
ニューノーマル/DX時代の背景
社会基盤の変化： Internet Trends
経営層の意識の変化： IBM Global C-suite Study
IT担当幹部の意識の変化： World Quality Report
テスターの現場の変化： State of Testing Survey

38
Internet Trends
[出典] https://www.bondcap.com/report/itr19/
❑ Mary Meeker
元ウォールストリートの証券アナリスト
現在はベンチャーキャピタリスト。2018
年にBond Capitalを設立
インターネット分野の分析の第一人者。
2001年から毎年Internet Trends発行

39
世界の51%がインターネット利用者
[出典] Internet Trends 2015, 2019 https://www.bondcap.com/#internettrends
1995年に1%未満(3,500万人)だった
利用者が2018年には51%(38億人超)に

40
インターネット利用者数の上位国
[出典] Internet Trends 2019 https://www.bondcap.com/report/itr19/
地域別の利用者数割合
・アジア太平洋: 48%
・ヨーロッパ: 78%
・アフリカ・中東: 32%
・ﾗﾃﾝｱﾒﾘｶ･ｶﾘﾌﾞ: 62%
・北アメリカ: 89%

41
1日のデジタルメディア利用時間 (米国)
[出典] Internet Trends 2018 http://www.kpcb.com/internet-trends
・年々増加の一途
・2014年にモバイルか
らの利用時間が半分を
超えた
・PCからの利用は漸減

42
メディア利用時間 vs. 広告費 (米国)
インターネット広告費
とメディア利用時間が
バランスしてきた

43
決済チャネルの59%がデジタル

44
IBM Global C-suite Study
❑ IBMが2003年から実施している世界の経営者層の調査
調査概要(2020年)
98ヶ国、20の業界の6つのCxOレベルの経営層
13,484名へのインタビュー
北米-3,755, 中南米-933, ヨーロッパ-3,363, 中
東・アフリカ-915, 中国圏-1,910, アジア太平洋
地域-1,750, 日本-858
CEO-2,131, CFO-2,105, CHRO-2,118, CIO-
2,924, CMO-2,107, COO-2,099
6つの異なる役割の経営者の視点からの分析
CEOの視点：データによる優位性の獲得
COOの視点：自動化の推進による競争優位性の確立
CIOの視点：データ・サイエンスからデータ外交へ
CFOの視点：データ・ドリブン経営
CHROの視点：“データ”の人的側面
CMOの視点：成長か無か Growth Producerへの挑戦
[出典] IBM - グローバル経営層スタディ https://www.ibm.com/services/jp-ja/studies/csuite/2020/

45
経営者の意識の変化
❑ 今後2～3年間に貴社に最も影響を与える外部要因は?
テクノロジー、市場の変化が上位をしめていたが、2020年はCOVID-19
を背景に法規制が２位に上昇
[出典] IBM - グローバル経営層スタディ https://www.ibm.com/services/jp-ja/studies/csuite/2020/

46
World Quality Report
❑ Capgemini, Sogeti, Micro Focusが2009年から毎年調査
調査概要(2020年)
32ヶ国、1,750人のIT業務担当上級幹部への
インタビュー(40項目) ※従業員1,000人以上の企業
北米-350, ﾗﾃﾝｱﾒﾘｶ-80, 南欧-125, 英国/ｱｲﾙﾗ
ﾝﾄﾞ-155, Benelux-135, 西欧-305, ﾉﾙﾃﾞｨｯｸ-175,
東欧-90, 中東ｱｼﾞｱ-65, 東南ｱｼﾞｱ-170, 豪州
/NZ-100
CIO-25%, IT Directors-20%, QA/Testing
Manager-19%, VP Applications-17%,
CMO/CDO-7%, CTO/Product Head-6%,
VP/Director of R&D-6%
レポートの内容(76ページ)
品質保証とテストの最新動向
業種別分析
地域別分析
[出典] World Quality Report (WQR) 20-21 https://www.capgemini.com/research/world-quality-report-wqr-20-21/
(※2016年まではHP)

47
品質保証とテストの最新動向 (目次)
❑ アジャイルとDevOpsの品質保証のオーケストレーション
着実に進化 - 加速するにはどうすればよいかが課題
❑ 人工知能と機械学習
大きな期待 - 徐々に適用
❑ テスト自動化
着実な決断がスピードと柔軟性を向上させる
❑ テストデータとテスト環境のマネジメント
複雑ではあるが、ゆっくり着実に進歩
❑ 予算と費用の抑制
困難な時期におけるQA予算の管理
❑ COVID-19の影響とパンデミック後の世界における品質保証
活動への暗示
[出典] World Quality Report (WQR) 20-21 https://www.capgemini.com/research/world-quality-report-wqr-20-21/

48
State of Testing Survey
❑ PractiTest社のJoel Montvelisky氏とTea-Time with
Tester誌のLalit Bhamare氏による調査(2013～)
第７回調査の概要(2020年1月～2月に実施)
回答者数：1,000人強(80数ヶ国)
ヨーロッパ-41.1%, 米国/カナダ-22.4%, インド-
9.5%, アジア(インド以外)-4%, ロシア-4.3%, アフリ
カ-5.4%, ｵｰｽﾄﾗﾘｱ/NZ-2.9%, ラテンアメリカ-6.7%,
中東-3.7%
回答者テスト経験: 1年未満-5%, 1～2年-7%, 2～
5年-24%, 5～10年-27%, 10年以上-37%
主なレポート内容 (43ページ)
プロフィール, テストの組織(位置付け, 規模, 文
書化, ｱﾌﾟﾛｰﾁ), テストプロセス(ﾂｰﾙ, 開発ﾓﾃﾞﾙ,
CI/CD,自動化)
トレーニング/スキル/成長, テストの現在と未来,
キャリアと自己啓発
[出典] State of Testing https://qablog.practitest.com/state-of-testing-2020-report/
(テストの現状調査)

49
適用している開発/モデルテスト
❑ アジャイルが一般化、DEVOPSが増加

50
CI/CDの導入状況
❑ プロジェクトの80%でCI/CDを導入

51
テストのアプローチと方法論
❑ 複数のテストアプローチ(探索的、スクリプトなど)を併用

52
❑ソフトウェア開発/テストのニューノーマル
Michael Sowers (Techwell社CIO & Sr. Consultant)
Better Software Magazine, Fall 2017

53
(1) 開発とテストはチームスポーツ
(2) データとアナリティクスの役割の増加
(3) テストと開発の協調(TestDev)の考え方の拡大
(4) 全て継続(Continuous everything)は全て自動化すること
(5) 稼働中テスト(Testing in production)は珍しいことではない
(6) より深いスキルセットが必須
(7) 自動化の拡大
(8) チーム全体の責任
(9) ほぼリアルタイムな測定やメトリクスが可能
(10) リスクの許容範囲の変化

54
テストのニューノーマル
計画実装ビルドテスト
リリース
デリバー
デプロイ運用
継続的
インテグレーション
継続的デリバリー
継続的デプロイ
DevOps
アジャイル開発
Continuous Everything
継続的テスト(拡張)
継続的テスト
シフト・レフト・テスト
Shift Left Testing
シフト・ライト・テスト
Shift Right Testing

55
継続的テスト
❑DevOpsにおける継続的テスト
[出典] Dan Ashby, Continuous Testing in DevOps… https://danashby.co.uk/2016/10/19/continuous-testing-in-devops/

56
シフト・レフト・テスト (Shift left testing)
❑ライフサイクルの早い段階でテストを開始すること
Ｗモデル(開発の上流からテスト設計開始)と同様の発想
開発完了後のテスト実行を、もっと早い段階で、かつ自動
的に継続的に実施（Wモデルとは異なるアプローチ)
❑早い段階でテストを実行するために
コンポーネントがそろわない状況でもE2Eテストを実行する
ためのサービス仮想化技術/ツールの利用
GUI経由の機能のテストをAPI（Application Programming Interface）
レベルで行うAPI テストの採用

57
シフト・ライト・テスト (Shift right testing)
❑Testing in Production とも呼ばれる
文字通り本番環境(in Production)で行われるテスト活動の総称
[出典] Cindy Sridharan, Distributed Systems Observability, 2018 O'Reilly Media

58
シフト・ライト・テスト (Shift right testing)
❑ カナリア・リリース(Canary release)
新旧2つのバージョンを同時に稼働させ、徐々に新バージョンを運用す
ることで、新バージョンに問題が無いことを確認しながら移行する
❑ A/Bテスト
デザインが異なる2つのWebページを用意し、ユーザーの利用状況の
測定結果に基づいてデザインや導線の良さを評価し最適化を図る
❑ モニタリング
アプリケーションの性能や応答時間などの監視や、稼働中システムの
動作結果から入力－出力結果を解析する
❑ Chaos Engineering
本番環境で意図的に障害を発生させ、システムの耐久性を確認する。
ネット動画配信のNetflix社では日常的に行われており、この手法を障
害注入テスト（FIT: Failure Injection Testing）と呼んでいる。Chaos
Monkeyなどのテストツール群が開発されている

59
アジャイル・テスト (Agile Testing)
❑アジャイル・テストのマインドセット
[出典] J. Gregory and L. Crispin, Y. Kazama(訳), Agile Testing Condensed Japanese Edition, 2020
https://leanpub.com/agiletesting-condensed-japanese-edition

60
次のニューノーマル!?
AIの品質保証、AIによる品質保証
テスト自動化の第三の波
AIを利用したテストツール
テスト自律性レベル

61
AIの品質保証、AIによる品質保証
❑ AIプロダクト品質保証コンソーシアム(QA4AIコンソーシアム)
設立 2018年4月1日
活動内容
AIプロダクトの品質保証技術の調査
〃の品質保証技術の適用支援・応用例の収集
〃の品質保証技術の研究開発の促進
〃の品質保証レベルの策定と、各レベルに必要
とされる技術の対応付けなど
AIプロダクト品質保証ガイドライン(267ページ)
1. 目的とスコープ
2. AI プロダクトの品質保証の枠組み
3. 技術カタログ
3.1 AI プロダクト固有の品質特性
3.2 AI プロダクトにおける品質管理
3.3 AI プロダクトの品質保証技術
4. 機械学習における説明可能性‧解釈性
5～9. システム例
[出典] AIプロダクト品質保証ガイドライン 2020.08 版 http://www.qa4ai.jp/QA4AI.Guideline.202008.pdf

テスト自動化の第三の波
❑AIを利用したテスト自動化ツール
62
第一の波
WinRunner, Silk Test, QTP
などのベンダー
第ニの波
Seleniumの登場
第三の波
AIと機械学習を利用した
ツールにより次の段階へ
[出典] Joe Colantonio, https://www.joecolantonio.com/7-innovative-ai-test-automation-tools-future-third-wave/

❑設立数年のスタートアップ企業により活況化
63
No. ツール名会社名国設立年ファンド状況
1 Acellere Acellere ドイツ 2009年 Early Stage Venture
2 Apimetrics Apimetrics 米国 2014年 Seed
3 AppAchhi AppAchhi インド 2015年 -
4 Applitools Eyes Applitools イスラエル 2013年 Late Stage Venture
5 Appvance IQ Appvance 米国 2012年 Early Stage Venture
6 Autify Autify 日本 2016年 -
7 Autonomiq Autonomiq 米国 2018年 -
8 DeepCode DeepCode スイス 2016年 Seed
9 Diffblue Cover DiffBlue 英国 2016年 Early Stage Venture
10 Eggplant AI Eggplant 英国、米国 2008年 -
11 Functionize Functionize 米国 2015年 Seed
12 Mabl Mabl 米国 2017年 Early Stage Venture
13 Magic Pod TRIDENT 日本 2012年 -
14 Perfecto Perfecto イスラエル、米国 2006年 M&A
15 ReTest ReTest ドイツ 2016年 -
16
SOAtest Smart API
Test Generator
Parasoft 米国 1987年 -
17 test.ai test.ai 米国 2015年 Early Stage Venture
18 TestComplete SmartBear Software 米国 2009年 -
19 Testim.io Testim 米国 2014年 Early Stage Venture

❑どのテスト作業にAIが利用されているのか
64
静的解析/
コード解析
テスト自動
生成
テスト実行
ビジュアル
の検証
テスト自動
修復
テスト実行
状況監視
性能/テスト
結果分析
1 Acellere ○
2 Apimetrics ○
3 AppAchhi ○
4 Applitools Eyes ○
5 Appvance IQ ○ ○
6 Autify ○
7 Autonomiq ○
8 DeepCode ○
9 Diffblue Cover ○
10 Eggplant AI ○
11 Functionize ○
12 Mabl ○ ○ ○
13 Magic Pod ○ ○
14 Perfecto ○
15 ReTest ○
16 SOAtest ○
17 test.ai ○ ○ ○
18 TestComplete ○ ○
19 Testim.io ○ ○
No. ツール名
AI利用機能のテスト適用分野

❑自動車の自動運転レベル
0 運転自動化なし
1 運転支援
アクセル、ブレーキ、ハンドル操作のうち１
つを自動化
2 部分運転自動化
アクセル、ブレーキ、ハンドル操作のうち複
数を自動化
3 条件付運転自動化
すべての運転を自動化するが、緊急時は
運転手が操作
4 高度運転自動化
一定の環境や条件の下ですべての運転を
自動化
5 完全運転自動化すべての運転を自動化
65
[参考] 自動車技術会, JASO TP 18004:2018 自動車用運転自動化システムのレベル分類及び定義 http://www.jsae.or.jp/08std/

❑Test Autonomy Levels
Jason Arbon氏の定義
66
[出典] Jason Arbon, Test Autonomy Levels, https://blog.appdiff.com/test-autonomy-levels-7de7967d030e
"Unassisted"
"Hands On"
"Hands Off"
"Eyes Off"
"Mind Off"
"Human Tester Optional"

❑テスト自律性レベルの定義の比較
67

68
まとめに代えて
❑変化を察知して素早い対応を
社会やビジネス環境の変化
求められる品質・技術の変化
最新動向の把握（世界に目を向けよう）
❑ニューノーマルをチャンスに
急速な変化が成長を加速
科学者/エンジニア/ドメイン専門家の復権
デジタルトランスフォーメーションが加速
[出典] Our New World 2020 https://www.bondcap.com/report/onw/

69
ご清聴ありがとうございました

ソフトウェアテストの変遷と最近の品質管理の方向性

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to ソフトウェアテストの変遷と最近の品質管理の方向性

Similar to ソフトウェアテストの変遷と最近の品質管理の方向性 (20)

More from Keizo Tatsumi

More from Keizo Tatsumi (20)

ソフトウェアテストの変遷と最近の品質管理の方向性