SlideShare ist ein Scribd-Unternehmen logo
1 von 32
Technische Universität München – Lehrstuhl Software & Systems Engineering
Kennzahlen-basierte Qualitätsbewertung
von Anforderungsspezifikationen für
Software-Intensive Systeme
Jakub Mund, M. Sc.
Lehrstuhl für Software- und Systems Engineering,
Fakultät für Informatik,
Technische Universität München
Rigorosum
Garching, 12. Mai 2017
Technische Universität München – Lehrstuhl Software & Systems Engineering
Anforderungsspezifikationen im
Software- und Systems Engineering
„A collection of documents
representing the requirements“
(IEEE Standard 610.12-1990)
Anf.
Spez.
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 2
Technische Universität München – Lehrstuhl Software & Systems Engineering
Regulierer
Anforderungsspezifikationen im
Software- und Systems Engineering
Anf.
Spez.
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 3
Endnutzer
Kunde
…
Stakeholder
Technische Universität München – Lehrstuhl Software & Systems Engineering
Verständnis
Anforderungsspezifikationen im
Software- und Systems Engineering
Anf.
Spez.
externalisiert
(dokumentiert)
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 4
Kunde Test-Entwickler
Architekt
UI Designer
Implementierer
…
Entwickler
(Engineering)
Technische Universität München – Lehrstuhl Software & Systems Engineering
Anforderungsspezifikationen im
Software- und Systems Engineering
Anf.
Spez.
Test-
fälle
externalisiert
(dokumentiert)
internalisiert leitet ab
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 5
Kunde Test-Entwickler
Verständnis Verständnis
Technische Universität München – Lehrstuhl Software & Systems Engineering
6Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017
Fragestellung 1:
Welchen Stellenwert hat die
(Qualität der) Anforderungs-
spezifikation?
Dokumentation von
Anforderungen
Auswirkungen von Qualität
Fragestellung 2:
Was ist Qualität? Qualitätsdefinitionsansatz
und -modell
Fragestellung 3:
In wie weit lässt sich
Qualität messen, und
wie?
Evaluation der
Messbarkeit
Bewertungsmeta- und
Prozessmodell
Bewertungsmodell
Motivation
Lösungsansatz
Evaluation
Empirischer Nachweis Konstruktiver Beitrag
Beiträge der Arbeit
Technische Universität München – Lehrstuhl Software & Systems Engineering
7Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017
Empirischer Nachweis Konstruktiver Beitrag
Fragestellung 1:
Welchen Stellenwert hat die
(Qualität der) Anforderungs-
spezifikation?
Fragestellung 2:
Was ist Qualität?
Fragestellung 3:
In wie weit lässt sich
Qualität messen, und
wie?
Motivation
Lösungsansatz
Evaluation
Dokumentation von
Anforderungen
Auswirkungen von Qualität
Qualitätsdefinitionsansatz
und -modell
Evaluation der
Messbarkeit
Bewertungsmeta- und
Prozessmodell
Bewertungsmodell
Beiträge der Arbeit
Technische Universität München – Lehrstuhl Software & Systems Engineering
Kunde Test-Entwickler
Stellenwert der Anforderungsspezifikation
 Überwiegend dokumentations-basiert
 Abhängig von Projektkontext:
+Sicherheitskritische Systeme
+Lange Entwicklungszyklen
- Volatile Anforderungen
- Kleine Teams / Geringe Fluktuation
- Frühere (erfolgreiche) Zusammenarbeit
Studienaufbau Ergebnisse
Umfrage: 42 Praktiker, mehrere
Domänen
Befragt nach:
• Projektkontext (Kriterien)
• Ausmaß der Dokumentation
• Verwendung zur Kommunikation
Dokumentation?
Anf.
Spez.
Test-
fälle
externalisiert
(dokumentiert)
internalisiert leitet ab
Kommunikation?
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 8
Verständnis Verständnis
Technische Universität München – Lehrstuhl Software & Systems Engineering
Stellenwert der Anforderungsspezifikation
Einfluss?
Stark abhängig von untersuchten
„Qualitätseigenschaften“:
+ Starke Auswirkung:
(semantisch) falsche Aussagen
- Keine Auswirkung: negierte Sätze
Studienaufbau Ergebnisse
• Experiment: Ableiten von Testfällen
• Unabhängige Variable:
• Q.-Defizite in Anf. Spez.
• Abhängige Variablen:
• Propagation der Fehler
• Wahrgenommene Schwierigkeit
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 9
Kunde Test-Entwickler
Anf.
Spez.
Test-
fälle
externalisiert
(dokumentiert)
internalisiert leitet ab
Verständnis Verständnis
Technische Universität München – Lehrstuhl Software & Systems Engineering
10Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017
Beiträge der Arbeit
Fragestellung 1:
Welchen Stellenwert hat die
(Qualität der) Anforderungs-
spezifikation?
Fragestellung 2:
Was ist Qualität?
Fragestellung 3:
In wie weit lässt sich
Qualität messen, und
wie?
 Relevanz abhängig vom
Projektkontext
 Fundiertes Verständnis der
Qualitätseigenschaften erforderlich
Dokumentation von
Anforderungen
Auswirkungen von
Qualität
Qualitätsdefinitionsansatz
und -modell
Evaluation der
Messbarkeit
Bewertungsmeta- und
Prozessmodell
Bewertungsmodell
Technische Universität München – Lehrstuhl Software & Systems Engineering
11Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017
Beiträge der Arbeit
Fragestellung 1:
Welchen Stellenwert hat die
(Qualität der) Anforderungs-
spezifikation?
Fragestellung 2:
Was ist Qualität?
Fragestellung 3:
In wie weit lässt sich
Qualität messen, und
wie?
 Relevanz abhängig vom
Projektkontext
 Fundiertes Verständnis der
Qualitätseigenschaften erforderlich
Dokumentation von
Anforderungen
Auswirkungen von
Qualität
Qualitätsdefinitionsansatz
und -modell
Evaluation der
Messbarkeit
Bewertungsmeta- und
Prozessmodell
Bewertungsmodell
Technische Universität München – Lehrstuhl Software & Systems Engineering
NutzungsqualitätIntrinsische Qualität
Entwicklungs-
aktivitäten
GenerischKontextspezifisch
beeinflussen
beeinflussen
Systematische Erhebung
Anpassung
Intrinsische
Eigenschaften
Entwicklungs-
aktivitäten
Intrinsische
Eigenschaften
Qualitätsdefinition: Überblick
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 12
Technische Universität München – Lehrstuhl Software & Systems Engineering
Literaturrecherche1
Qualitätsdefinition: Referenzmodell
1. Konsolidierung u.
Begriffsschärfung
Electronically stored
Sem. Correct
Complete
Formal Correctness
Complete Specification
[Pohl1994]]
Formalized
[Pohl1994]]
Design-Independent
Complete
Quantitatively Precise
Feature Complete
Information Complete
„No requirements or
necessary information
missing.“ (Wiegers,1999)
„each possible quantitative
information specified“ (Ott,2012)
„Everything the
software is supposed
to do is included“
(Davis et al.,1993)
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 13
Vollständig
Feature-
vollständig
Informations-
vollständig
Quantifiziert
Technische Universität München – Lehrstuhl Software & Systems Engineering
Literaturrecherche1
Qualitätsdefinition: Referenzmodell
1. Konsolidierung u.
Begriffsschärfung
2. Ausschluss
ungeeigneter AttributeElectronically stored
Sem. Correct
Complete
Formal Correctness
Complete Specification
[Pohl1994]]
Formalized
[Pohl1994]]
Design-Independent
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 14
Überprüfbar
Redundanzfrei
Elektronisch
gespeichert
Technische Universität München – Lehrstuhl Software & Systems Engineering
Literaturrecherche1
Qualitätsdefinition: Referenzmodell
1. Konsolidierung u.
Begriffsschärfung
2. Ausschluss
ungeeigneter Attribute
3. Taxonomiebildung
Electronically stored
Sem. Correct
Complete
Formal Correctness
Complete Specification
[Pohl1994]]
Formalized
[Pohl1994]]
Design-Independent
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 15
Informations-
vollständig
Feature-
vollständig
…
Vollständig
Intrinsische Qualität
Semantische Qualität
Sem. korrekt
Quantifiziert
Sem. konsistent
…
Technische Universität München – Lehrstuhl Software & Systems Engineering
1
Qualitätsdefinition: Referenzmodell
Electronically stored
Sem. Correct
Complete
Formal Correctness
Complete Specification
[Pohl1994]]
Formalized
[Pohl1994]]
Design-Independent
Analyse
(ABRE-QM)
2
Literaturrecherche
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 16
Informations-
vollständig
Strukturiert
(Organized)
Feature-
vollständig
Pragmatische Qualität
Eindeutig
Semantische Qualität
Intrinsische Qualität
Entwicklungs-
aktivitäten
15 High-Level
Merkmale
Technische Universität München – Lehrstuhl Software & Systems Engineering
1
Qualitätsdefinition: Referenzmodell
Electronically stored
Sem. Correct
Complete
Formal Correctness
Complete Specification
[Pohl1994]]
Formalized
[Pohl1994]]
Design-Independent
Analyse
(ABRE-QM@RUP)
2
Identifikation von:
1. Rollen
2. Aktivitäten
3. Intrinsischen
Merkmalen
Literaturrecherche
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 17
System-Testfälle entwerfen …
Entwicklungs-
aktivitäten
Informations-
vollständig
Strukturiert
(Organized)
Feature-
vollständig
Pragmatische Qualität
Eindeutig
Semantische Qualität
Intrinsische Qualität
Architekt
…
…Testentwickler
15 High-Level
Merkmale
Technische Universität München – Lehrstuhl Software & Systems Engineering
Identifikation von:
1. Rollen
2. Aktivitäten
3. Intrinsischen
Merkmalen …
…Architekt
Design System Test Cases …
Test Engineer
System tests are used to test that the system functions
properly as a whole. Each system test primarily tests
combinations of use cases instantiated under different
conditions. [ ] When developing the system test cases, test
designers should prioritize combinations of use cases that: [ ]
 Are likely to be performed in parallel
 Are likely to influence each other if performed in parallel
 Involve multiple processes
Many system test cases can thus be found by considering the
use cases, especially their flow of events and special
requirements (such as performance requirements).
Design System Test Casea [Jacobson et al., 1999, p.308]
Hilfestellung zum Auffinden
der Feature Spezifikationen
vorhanden +Effizienz
1
Qualitätsdefinition: Referenzmodell
Electronically stored
Sem. Correct
Complete
Formal Correctness
Complete Specification
[Pohl1994]]
Formalized
[Pohl1994]]
Design-Independent
Analyse
(ABRE-QM@RUP)
2
Literaturrecherche
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 18
Entwicklungs-
aktivitäten
Nutzungsszenarien
angegeben +Effizienz
+Effektivität
Informations-
vollständig
Strukturiert
(Organized)
Feature-
vollständig
Pragmatische Qualität
Eindeutig
Semantische Qualität
Intrinsische Qualität
15 High-Level
Merkmale
53 Low-Level
Merkmale
Technische Universität München – Lehrstuhl Software & Systems Engineering
…
…
Architekt
System-Testfälle entwerfen …
Testentwickler
System tests are used to test that the system functions
properly as a whole. Each system test primarily tests
combinations of use cases instantiated under different
conditions. [ ] When developing the system test cases, test
designers should prioritize combinations of use cases that: [ ]
 Are likely to be performed in parallel
 Are likely to influence each other if performed in parallel
 Involve multiple processes
Many system test cases can thus be found by considering the
use cases, especially their flow of events and special
requirements (such as performance requirements).
Design System Test Casea [Jacobson et al., 1999, p.308]
Nutzungsszenarien
angegeben +Effizienz
+Effektivität
Hilfestellung zum Auffinden
der Feature Spezifikationen
vorhanden +Effizienz
1
Qualitätsdefinition: Referenzmodell
Electronically stored
Sem. Correct
Complete
Formal Correctness
Complete Specification
[Pohl1994]]
Formalized
[Pohl1994]]
Design-Independent
Analyse
(ABRE-QM@RUP)
2
Literaturrecherche
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 19
Entwicklungs-
aktivitäten
15 High-Level
Merkmale
53 Low-Level
Merkmale
Informations-
vollständig
Strukturiert
(Organized)
Feature-
vollständig
Pragmatische Qualität
Eindeutig
Semantische Qualität
Intrinsische Qualität
konkretisiert konkretisiert
Technische Universität München – Lehrstuhl Software & Systems Engineering
1
Qualitätsdefinition: Referenzmodell
Electronically stored
Sem. Correct
Complete
Formal Correctness
Complete Specification
[Pohl1994]]
Formalized
[Pohl1994]]
Design-Independent
Analyse
(ABRE-QM@RUP)
2
Entwicklungs-
aktivitäten
Literaturrecherche
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 20
System-Testfälle entwerfen …
Testentwickler
konkretisiert konkretisiert
beeinflusst beeinflusst beeinflusst
Nutzungsszenarien
angegeben +Effizienz
+Effektivität
Hilfestellung zum Auffinden
der Feature Spezifikationen
vorhanden +Effizienz
Informations-
vollständig
Strukturiert
(Organized)
Feature-
vollständig
Pragmatische Qualität
Eindeutig
Semantische Qualität
Intrinsische Qualität
Architekt
…
…
15 High-Level
Merkmale
53 Low-Level
Merkmale
Technische Universität München – Lehrstuhl Software & Systems Engineering
21Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017
Beiträge der Arbeit
Fragestellung 1:
Welchen Stellenwert hat die
(Qualität der) Anforderungs-
spezifikation?
Fragestellung 2:
Was ist Qualität?
Fragestellung 3:
In wie weit lässt sich
Qualität messen, und
wie?
 Relevanz abhängig vom
Projektkontext
 Fundiertes Verständnis der
Qualitätseigenschaften erforderlich
 Eigenschaften kontextabhängig
 Aktivitätsbasierter Qualitätsansatz
 Referenzmodell (Basis für Tailoring)
Dokumentation von
Anforderungen
Auswirkungen von
Qualität
Qualitätsdefinitionsansatz
und -modell
Evaluation der
Messbarkeit
Bewertungsmeta- und
Prozessmodell
Bewertungsmodell
Technische Universität München – Lehrstuhl Software & Systems Engineering
22Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017
Beiträge der Arbeit
Fragestellung 1:
Welchen Stellenwert hat die
(Qualität der) Anforderungs-
spezifikation?
Fragestellung 2:
Was ist Qualität?
Fragestellung 3:
In wie weit lässt sich
Qualität messen, und
wie?
 Relevanz abhängig vom
Projektkontext
 Fundiertes Verständnis der
Qualitätseigenschaften erforderlich
 Eigenschaften kontextabhängig
 Aktivitätsbasierter Qualitätsansatz
 Referenzmodell (Basis für Tailoring)
Dokumentation von
Anforderungen
Auswirkungen von
Qualität
Qualitätsdefinitionsansatz
und -modell
Evaluation der
Messbarkeit
Bewertungsmeta- und
Prozessmodell
Bewertungsmodell
Technische Universität München – Lehrstuhl Software & Systems Engineering
Systematische
Literaturstudie
(136 Kennzahlen)
(2397 Publikationen)
Qualitätsbewertungsmodell
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 23
Quality Requirements
Spectrum Comparison
Refined Customer
Needs Ratio
Imposed Flexibility
Constraints Ratio
Ontology-Based
Correctness
Ext. Documentation
Consistency
Average Customer
Goal Satisfaction
Average Minimum
Goal Satisfaction
Number of Universal
Quantifications
Kennzahl
Technische Universität München – Lehrstuhl Software & Systems Engineering
Systematische
Literaturstudie
(136 Kennzahlen)
(2397 Publikationen)
Qualitätsbewertungsmodell
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 24
Uneingeschränkte
Flexibilität des
Kontrollflusses
Unnötige
Anforderungen
Zielerfüllung
Konsistenz zu
übergeordneten
Dokumenten
Ontologisch fundiert
Verwendung von
universellen
Quantifizierungen
Quality Requirements
Spectrum Comparison
Refined Customer
Needs Ratio
Imposed Flexibility
Constraints Ratio
Ontology-Based
Correctness
Ext. Documentation
Consistency
Average Customer
Goal Satisfaction
Average Minimum
Goal Satisfaction
Number of Universal
Quantifications
Intrinsische
Eigenschaft
Kennzahl
Technische Universität München – Lehrstuhl Software & Systems Engineering
Systematische
Literaturstudie
(136 Kennzahlen)
(2397 Publikationen)
Qualitätsbewertungsmodell
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 25
Uneingeschränkte
Flexibilität des
Kontrollflusses
Sem. Korrekt
Unnötige
Anforderungen
Zielerfüllung
Konsistenz zu
übergeordneten
Dokumenten
Ontologisch fundiert
Verwendung von
universellen
Quantifizierungen
Quality Requirements
Spectrum Comparison
Refined Customer
Needs Ratio
Imposed Flexibility
Constraints Ratio
Ontology-Based
Correctness
Ext. Documentation
Consistency
Average Customer
Goal Satisfaction
Average Minimum
Goal Satisfaction
Number of Universal
Quantifications
Intrinsische
Eigenschaft
Kennzahl
Technische Universität München – Lehrstuhl Software & Systems Engineering
Ursachen
Korrelierende
Faktoren
Unter-
Attribute
Systematische
Literaturstudie
(136 Kennzahlen)
(2397 Publikationen)
Qualitätsbewertungsmodell
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 26
Uneingeschränkte
Flexibilität des
Kontrollflusses
Sem. Korrekt
Unnötige
Anforderungen
Zielerfüllung
Konsistenz zu
übergeordneten
Dokumenten
Ontologisch fundiert
Verwendung von
universellen
Quantifizierungen
Quality Requirements
Spectrum Comparison
Refined Customer
Needs Ratio
Imposed Flexibility
Constraints Ratio
Ontology-Based
Correctness
Ext. Documentation
Consistency
Average Customer
Goal Satisfaction
Average Minimum
Goal Satisfaction
Number of Universal
Quantifications
Intrinsische
Eigenschaft
Kennzahl
Technische Universität München – Lehrstuhl Software & Systems Engineering
Ursachen
Korrelierende
Faktoren
Unter-
Attribute
Systematische
Literaturstudie
(136 Kennzahlen)
(2397 Publikationen)
Qualitätsbewertungsmodell
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 27
Uneingeschränkte
Flexibilität des
Kontrollflusses
Sem. Korrekt
Unnötige
Anforderungen
Zielerfüllung
Konsistenz zu
übergeordneten
Dokumenten
Ontologisch fundiert
Verwendung von
universellen
Quantifizierungen
Quality Requirements
Spectrum Comparison
Refined Customer
Needs Ratio
Imposed Flexibility
Constraints Ratio
Ontology-Based
Correctness
Ext. Documentation
Consistency
Average Customer
Goal Satisfaction
Average Minimum
Goal Satisfaction
Number of Universal
Quantifications
Intrinsische
Eigenschaft
Kennzahl
Technische Universität München – Lehrstuhl Software & Systems Engineering
28Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017
Beiträge der Arbeit
Fragestellung 1:
Welchen Stellenwert hat die
(Qualität der) Anforderungs-
spezifikation?
Dokumentation von
Anforderungen
Auswirkungen von
Qualität
Fragestellung 2:
Was ist Qualität?
Qualitätsdefinitionsansatz
und -modell
Fragestellung 3:
In wie weit lässt sich
Qualität messen, und
wie?
Evaluation der
Messbarkeit
Bewertungsmeta- und
Prozessmodell
Bewertungsmodell
 Relevanz abhängig vom
Projektkontext
 Fundiertes Verständnis der
Qualitätseigenschaften erforderlich
 Eigenschaften kontextabhängig
 Aktivitätsbasierter Qualitätsansatz
 Referenzmodell (Basis für Tailoring)
 Viele, spezifische Kennzahlen
 Anwendung erfordert Commitment
und z.T. hohe Einstiegshürden
 Keine vollständige Bewertung
 Konstruktive Nutzung möglich
Technische Universität München – Lehrstuhl Software & Systems Engineering
29Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017
Ausblick
 Erweiterung der Qualitätsdefinition
 Besonderheiten bei der Entwicklung von CPS
 Agile Entwicklung
 Beziehungen zw. Qualitätseigenschaften
 Kennzahlen-basierte Qualitätsbewertung
 Neue Kennzahlen
 Integrierte Tool-Unterstützung
 Lernen durch Messen
Technische Universität München – Lehrstuhl Software & Systems Engineering
30Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017
Vielen Dank für die Aufmerksamkeit
Fragestellung 1:
Welchen Stellenwert hat die
(Qualität der) Anforderungs-
spezifikation?
Dokumentation von
Anforderungen (Umfrage)
Auswirkungen von Qualität
(Experiment)
Fragestellung 2:
Was ist Qualität? Qualitätsdefinitionsansatz
und -modell
Fragestellung 3:
In wie weit lässt sich
Qualität messen, und
wie?
Evaluation der
Messbarkeit
Bewertungsmeta- und
Prozessmodell
Bewertungsmodell
 Relevanz abhängig vom
Projektkontext
 Fundiertes Verständnis der
Qualitätseigenschaften erforderlich
 Eigenschaften kontextabhängig
 Aktivitätsbasierter Qualitätsansatz
 Referenzmodell (Basis für Tailoring)
 Viele, spezifische Kennzahlen
 Anwendung erfordert Commitment
und z.T. hohe Einstiegshürden
 Keine vollständige Bewertung
 Konstruktive Nutzung möglich
Motivation
Lösungsansatz
Evaluation Empirischer Nachweis Konstruktiver Beitrag
Technische Universität München – Lehrstuhl Software & Systems Engineering
Backup
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 31
Technische Universität München – Lehrstuhl Software & Systems Engineering
3. In wie weit lässt sich das Bewertungsmodell für die
konstruktive Qualitätssicherung einsetzen?
1. Welche Vorbedingungen erfordern die Kennzahlen?
2. In wie weit sind die Bewertungen gültig?
Qualitätsbewertung: Grenzen der Messbarkeit
GQM
(Nahezu) zwingend
erforderlich
Verbessert
erheblich
Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 32

Weitere ähnliche Inhalte

Ähnlich wie Measurement-Based Quality Assessment of Requirements Specification

GraphTalks - Semantisches Produktdatenmanagement, Dr. Andreas Weber
GraphTalks - Semantisches Produktdatenmanagement, Dr. Andreas WeberGraphTalks - Semantisches Produktdatenmanagement, Dr. Andreas Weber
GraphTalks - Semantisches Produktdatenmanagement, Dr. Andreas Weber
Neo4j
 
Microsoftpowerpoint Sib Chmdalumnipresentation 090521031102 Phpapp01
Microsoftpowerpoint Sib Chmdalumnipresentation 090521031102 Phpapp01Microsoftpowerpoint Sib Chmdalumnipresentation 090521031102 Phpapp01
Microsoftpowerpoint Sib Chmdalumnipresentation 090521031102 Phpapp01
aadiversity
 

Ähnlich wie Measurement-Based Quality Assessment of Requirements Specification (20)

GraphTalks - Semantisches Produktdatenmanagement, Dr. Andreas Weber
GraphTalks - Semantisches Produktdatenmanagement, Dr. Andreas WeberGraphTalks - Semantisches Produktdatenmanagement, Dr. Andreas Weber
GraphTalks - Semantisches Produktdatenmanagement, Dr. Andreas Weber
 
Landeslehrpreis 2016 - Vera Meister
Landeslehrpreis 2016 - Vera MeisterLandeslehrpreis 2016 - Vera Meister
Landeslehrpreis 2016 - Vera Meister
 
Neo4j GraphTalks - Semantische Netze
Neo4j GraphTalks - Semantische NetzeNeo4j GraphTalks - Semantische Netze
Neo4j GraphTalks - Semantische Netze
 
Videovorlesungen in der Wirtschaftsinformatik – Systemanalyse und Reflexionen
Videovorlesungen in der Wirtschaftsinformatik – Systemanalyse und ReflexionenVideovorlesungen in der Wirtschaftsinformatik – Systemanalyse und Reflexionen
Videovorlesungen in der Wirtschaftsinformatik – Systemanalyse und Reflexionen
 
Kompetenzerwerb in angewandter Wissensmodellierung durch Lernen aus Fehlern
Kompetenzerwerb in angewandter Wissensmodellierung durch Lernen aus FehlernKompetenzerwerb in angewandter Wissensmodellierung durch Lernen aus Fehlern
Kompetenzerwerb in angewandter Wissensmodellierung durch Lernen aus Fehlern
 
IKON Terminologie
IKON TerminologieIKON Terminologie
IKON Terminologie
 
Aufbau einer zentral managebaren IT-Struktur mit Einbindung lokaler Schulserv...
Aufbau einer zentral managebaren IT-Struktur mit Einbindung lokaler Schulserv...Aufbau einer zentral managebaren IT-Struktur mit Einbindung lokaler Schulserv...
Aufbau einer zentral managebaren IT-Struktur mit Einbindung lokaler Schulserv...
 
Microsoftpowerpoint Sib Chmdalumnipresentation 090521031102 Phpapp01
Microsoftpowerpoint Sib Chmdalumnipresentation 090521031102 Phpapp01Microsoftpowerpoint Sib Chmdalumnipresentation 090521031102 Phpapp01
Microsoftpowerpoint Sib Chmdalumnipresentation 090521031102 Phpapp01
 
Architektur = Kommunikation
Architektur = KommunikationArchitektur = Kommunikation
Architektur = Kommunikation
 
Solutiontogo webinar top 5 tricks und templates für die Planung mit MS Excel
Solutiontogo webinar top 5 tricks und templates für die Planung mit MS ExcelSolutiontogo webinar top 5 tricks und templates für die Planung mit MS Excel
Solutiontogo webinar top 5 tricks und templates für die Planung mit MS Excel
 
Machbarkeitsstudie: Innovation Management Tool (BASF, Hochschule Mannheim), 2019
Machbarkeitsstudie: Innovation Management Tool (BASF, Hochschule Mannheim), 2019Machbarkeitsstudie: Innovation Management Tool (BASF, Hochschule Mannheim), 2019
Machbarkeitsstudie: Innovation Management Tool (BASF, Hochschule Mannheim), 2019
 
Plattformübergreifende Magazine auf Tablet-Computern mit Hybrid-Apps
Plattformübergreifende Magazine auf Tablet-Computern mit Hybrid-AppsPlattformübergreifende Magazine auf Tablet-Computern mit Hybrid-Apps
Plattformübergreifende Magazine auf Tablet-Computern mit Hybrid-Apps
 
Softwaretests in der Domäne modellgetriebener BI-Systeme
Softwaretests in der Domäne modellgetriebener BI-SystemeSoftwaretests in der Domäne modellgetriebener BI-Systeme
Softwaretests in der Domäne modellgetriebener BI-Systeme
 
Welche Prototyping-Methode passt zu meinen Anforderungen? – World Usability D...
Welche Prototyping-Methode passt zu meinen Anforderungen? – World Usability D...Welche Prototyping-Methode passt zu meinen Anforderungen? – World Usability D...
Welche Prototyping-Methode passt zu meinen Anforderungen? – World Usability D...
 
Software-Entwicklung im interkulturellen Kontext
Software-Entwicklung im interkulturellen KontextSoftware-Entwicklung im interkulturellen Kontext
Software-Entwicklung im interkulturellen Kontext
 
DDI 2010
DDI 2010DDI 2010
DDI 2010
 
GraphTalk - Semantisches PDM bei Schleich
GraphTalk - Semantisches PDM bei Schleich GraphTalk - Semantisches PDM bei Schleich
GraphTalk - Semantisches PDM bei Schleich
 
Studentische Softwareentwicklung - Warum es keine Alternative zu agilen Metho...
Studentische Softwareentwicklung - Warum es keine Alternative zu agilen Metho...Studentische Softwareentwicklung - Warum es keine Alternative zu agilen Metho...
Studentische Softwareentwicklung - Warum es keine Alternative zu agilen Metho...
 
Text Analytics - Kommunikation systematisch analysieren
Text Analytics - Kommunikation systematisch analysierenText Analytics - Kommunikation systematisch analysieren
Text Analytics - Kommunikation systematisch analysieren
 
201701-impuls-essassment
201701-impuls-essassment201701-impuls-essassment
201701-impuls-essassment
 

Measurement-Based Quality Assessment of Requirements Specification

  • 1. Technische Universität München – Lehrstuhl Software & Systems Engineering Kennzahlen-basierte Qualitätsbewertung von Anforderungsspezifikationen für Software-Intensive Systeme Jakub Mund, M. Sc. Lehrstuhl für Software- und Systems Engineering, Fakultät für Informatik, Technische Universität München Rigorosum Garching, 12. Mai 2017
  • 2. Technische Universität München – Lehrstuhl Software & Systems Engineering Anforderungsspezifikationen im Software- und Systems Engineering „A collection of documents representing the requirements“ (IEEE Standard 610.12-1990) Anf. Spez. Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 2
  • 3. Technische Universität München – Lehrstuhl Software & Systems Engineering Regulierer Anforderungsspezifikationen im Software- und Systems Engineering Anf. Spez. Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 3 Endnutzer Kunde … Stakeholder
  • 4. Technische Universität München – Lehrstuhl Software & Systems Engineering Verständnis Anforderungsspezifikationen im Software- und Systems Engineering Anf. Spez. externalisiert (dokumentiert) Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 4 Kunde Test-Entwickler Architekt UI Designer Implementierer … Entwickler (Engineering)
  • 5. Technische Universität München – Lehrstuhl Software & Systems Engineering Anforderungsspezifikationen im Software- und Systems Engineering Anf. Spez. Test- fälle externalisiert (dokumentiert) internalisiert leitet ab Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 5 Kunde Test-Entwickler Verständnis Verständnis
  • 6. Technische Universität München – Lehrstuhl Software & Systems Engineering 6Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 Fragestellung 1: Welchen Stellenwert hat die (Qualität der) Anforderungs- spezifikation? Dokumentation von Anforderungen Auswirkungen von Qualität Fragestellung 2: Was ist Qualität? Qualitätsdefinitionsansatz und -modell Fragestellung 3: In wie weit lässt sich Qualität messen, und wie? Evaluation der Messbarkeit Bewertungsmeta- und Prozessmodell Bewertungsmodell Motivation Lösungsansatz Evaluation Empirischer Nachweis Konstruktiver Beitrag Beiträge der Arbeit
  • 7. Technische Universität München – Lehrstuhl Software & Systems Engineering 7Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 Empirischer Nachweis Konstruktiver Beitrag Fragestellung 1: Welchen Stellenwert hat die (Qualität der) Anforderungs- spezifikation? Fragestellung 2: Was ist Qualität? Fragestellung 3: In wie weit lässt sich Qualität messen, und wie? Motivation Lösungsansatz Evaluation Dokumentation von Anforderungen Auswirkungen von Qualität Qualitätsdefinitionsansatz und -modell Evaluation der Messbarkeit Bewertungsmeta- und Prozessmodell Bewertungsmodell Beiträge der Arbeit
  • 8. Technische Universität München – Lehrstuhl Software & Systems Engineering Kunde Test-Entwickler Stellenwert der Anforderungsspezifikation  Überwiegend dokumentations-basiert  Abhängig von Projektkontext: +Sicherheitskritische Systeme +Lange Entwicklungszyklen - Volatile Anforderungen - Kleine Teams / Geringe Fluktuation - Frühere (erfolgreiche) Zusammenarbeit Studienaufbau Ergebnisse Umfrage: 42 Praktiker, mehrere Domänen Befragt nach: • Projektkontext (Kriterien) • Ausmaß der Dokumentation • Verwendung zur Kommunikation Dokumentation? Anf. Spez. Test- fälle externalisiert (dokumentiert) internalisiert leitet ab Kommunikation? Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 8 Verständnis Verständnis
  • 9. Technische Universität München – Lehrstuhl Software & Systems Engineering Stellenwert der Anforderungsspezifikation Einfluss? Stark abhängig von untersuchten „Qualitätseigenschaften“: + Starke Auswirkung: (semantisch) falsche Aussagen - Keine Auswirkung: negierte Sätze Studienaufbau Ergebnisse • Experiment: Ableiten von Testfällen • Unabhängige Variable: • Q.-Defizite in Anf. Spez. • Abhängige Variablen: • Propagation der Fehler • Wahrgenommene Schwierigkeit Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 9 Kunde Test-Entwickler Anf. Spez. Test- fälle externalisiert (dokumentiert) internalisiert leitet ab Verständnis Verständnis
  • 10. Technische Universität München – Lehrstuhl Software & Systems Engineering 10Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 Beiträge der Arbeit Fragestellung 1: Welchen Stellenwert hat die (Qualität der) Anforderungs- spezifikation? Fragestellung 2: Was ist Qualität? Fragestellung 3: In wie weit lässt sich Qualität messen, und wie?  Relevanz abhängig vom Projektkontext  Fundiertes Verständnis der Qualitätseigenschaften erforderlich Dokumentation von Anforderungen Auswirkungen von Qualität Qualitätsdefinitionsansatz und -modell Evaluation der Messbarkeit Bewertungsmeta- und Prozessmodell Bewertungsmodell
  • 11. Technische Universität München – Lehrstuhl Software & Systems Engineering 11Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 Beiträge der Arbeit Fragestellung 1: Welchen Stellenwert hat die (Qualität der) Anforderungs- spezifikation? Fragestellung 2: Was ist Qualität? Fragestellung 3: In wie weit lässt sich Qualität messen, und wie?  Relevanz abhängig vom Projektkontext  Fundiertes Verständnis der Qualitätseigenschaften erforderlich Dokumentation von Anforderungen Auswirkungen von Qualität Qualitätsdefinitionsansatz und -modell Evaluation der Messbarkeit Bewertungsmeta- und Prozessmodell Bewertungsmodell
  • 12. Technische Universität München – Lehrstuhl Software & Systems Engineering NutzungsqualitätIntrinsische Qualität Entwicklungs- aktivitäten GenerischKontextspezifisch beeinflussen beeinflussen Systematische Erhebung Anpassung Intrinsische Eigenschaften Entwicklungs- aktivitäten Intrinsische Eigenschaften Qualitätsdefinition: Überblick Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 12
  • 13. Technische Universität München – Lehrstuhl Software & Systems Engineering Literaturrecherche1 Qualitätsdefinition: Referenzmodell 1. Konsolidierung u. Begriffsschärfung Electronically stored Sem. Correct Complete Formal Correctness Complete Specification [Pohl1994]] Formalized [Pohl1994]] Design-Independent Complete Quantitatively Precise Feature Complete Information Complete „No requirements or necessary information missing.“ (Wiegers,1999) „each possible quantitative information specified“ (Ott,2012) „Everything the software is supposed to do is included“ (Davis et al.,1993) Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 13 Vollständig Feature- vollständig Informations- vollständig Quantifiziert
  • 14. Technische Universität München – Lehrstuhl Software & Systems Engineering Literaturrecherche1 Qualitätsdefinition: Referenzmodell 1. Konsolidierung u. Begriffsschärfung 2. Ausschluss ungeeigneter AttributeElectronically stored Sem. Correct Complete Formal Correctness Complete Specification [Pohl1994]] Formalized [Pohl1994]] Design-Independent Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 14 Überprüfbar Redundanzfrei Elektronisch gespeichert
  • 15. Technische Universität München – Lehrstuhl Software & Systems Engineering Literaturrecherche1 Qualitätsdefinition: Referenzmodell 1. Konsolidierung u. Begriffsschärfung 2. Ausschluss ungeeigneter Attribute 3. Taxonomiebildung Electronically stored Sem. Correct Complete Formal Correctness Complete Specification [Pohl1994]] Formalized [Pohl1994]] Design-Independent Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 15 Informations- vollständig Feature- vollständig … Vollständig Intrinsische Qualität Semantische Qualität Sem. korrekt Quantifiziert Sem. konsistent …
  • 16. Technische Universität München – Lehrstuhl Software & Systems Engineering 1 Qualitätsdefinition: Referenzmodell Electronically stored Sem. Correct Complete Formal Correctness Complete Specification [Pohl1994]] Formalized [Pohl1994]] Design-Independent Analyse (ABRE-QM) 2 Literaturrecherche Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 16 Informations- vollständig Strukturiert (Organized) Feature- vollständig Pragmatische Qualität Eindeutig Semantische Qualität Intrinsische Qualität Entwicklungs- aktivitäten 15 High-Level Merkmale
  • 17. Technische Universität München – Lehrstuhl Software & Systems Engineering 1 Qualitätsdefinition: Referenzmodell Electronically stored Sem. Correct Complete Formal Correctness Complete Specification [Pohl1994]] Formalized [Pohl1994]] Design-Independent Analyse (ABRE-QM@RUP) 2 Identifikation von: 1. Rollen 2. Aktivitäten 3. Intrinsischen Merkmalen Literaturrecherche Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 17 System-Testfälle entwerfen … Entwicklungs- aktivitäten Informations- vollständig Strukturiert (Organized) Feature- vollständig Pragmatische Qualität Eindeutig Semantische Qualität Intrinsische Qualität Architekt … …Testentwickler 15 High-Level Merkmale
  • 18. Technische Universität München – Lehrstuhl Software & Systems Engineering Identifikation von: 1. Rollen 2. Aktivitäten 3. Intrinsischen Merkmalen … …Architekt Design System Test Cases … Test Engineer System tests are used to test that the system functions properly as a whole. Each system test primarily tests combinations of use cases instantiated under different conditions. [ ] When developing the system test cases, test designers should prioritize combinations of use cases that: [ ]  Are likely to be performed in parallel  Are likely to influence each other if performed in parallel  Involve multiple processes Many system test cases can thus be found by considering the use cases, especially their flow of events and special requirements (such as performance requirements). Design System Test Casea [Jacobson et al., 1999, p.308] Hilfestellung zum Auffinden der Feature Spezifikationen vorhanden +Effizienz 1 Qualitätsdefinition: Referenzmodell Electronically stored Sem. Correct Complete Formal Correctness Complete Specification [Pohl1994]] Formalized [Pohl1994]] Design-Independent Analyse (ABRE-QM@RUP) 2 Literaturrecherche Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 18 Entwicklungs- aktivitäten Nutzungsszenarien angegeben +Effizienz +Effektivität Informations- vollständig Strukturiert (Organized) Feature- vollständig Pragmatische Qualität Eindeutig Semantische Qualität Intrinsische Qualität 15 High-Level Merkmale 53 Low-Level Merkmale
  • 19. Technische Universität München – Lehrstuhl Software & Systems Engineering … … Architekt System-Testfälle entwerfen … Testentwickler System tests are used to test that the system functions properly as a whole. Each system test primarily tests combinations of use cases instantiated under different conditions. [ ] When developing the system test cases, test designers should prioritize combinations of use cases that: [ ]  Are likely to be performed in parallel  Are likely to influence each other if performed in parallel  Involve multiple processes Many system test cases can thus be found by considering the use cases, especially their flow of events and special requirements (such as performance requirements). Design System Test Casea [Jacobson et al., 1999, p.308] Nutzungsszenarien angegeben +Effizienz +Effektivität Hilfestellung zum Auffinden der Feature Spezifikationen vorhanden +Effizienz 1 Qualitätsdefinition: Referenzmodell Electronically stored Sem. Correct Complete Formal Correctness Complete Specification [Pohl1994]] Formalized [Pohl1994]] Design-Independent Analyse (ABRE-QM@RUP) 2 Literaturrecherche Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 19 Entwicklungs- aktivitäten 15 High-Level Merkmale 53 Low-Level Merkmale Informations- vollständig Strukturiert (Organized) Feature- vollständig Pragmatische Qualität Eindeutig Semantische Qualität Intrinsische Qualität konkretisiert konkretisiert
  • 20. Technische Universität München – Lehrstuhl Software & Systems Engineering 1 Qualitätsdefinition: Referenzmodell Electronically stored Sem. Correct Complete Formal Correctness Complete Specification [Pohl1994]] Formalized [Pohl1994]] Design-Independent Analyse (ABRE-QM@RUP) 2 Entwicklungs- aktivitäten Literaturrecherche Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 20 System-Testfälle entwerfen … Testentwickler konkretisiert konkretisiert beeinflusst beeinflusst beeinflusst Nutzungsszenarien angegeben +Effizienz +Effektivität Hilfestellung zum Auffinden der Feature Spezifikationen vorhanden +Effizienz Informations- vollständig Strukturiert (Organized) Feature- vollständig Pragmatische Qualität Eindeutig Semantische Qualität Intrinsische Qualität Architekt … … 15 High-Level Merkmale 53 Low-Level Merkmale
  • 21. Technische Universität München – Lehrstuhl Software & Systems Engineering 21Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 Beiträge der Arbeit Fragestellung 1: Welchen Stellenwert hat die (Qualität der) Anforderungs- spezifikation? Fragestellung 2: Was ist Qualität? Fragestellung 3: In wie weit lässt sich Qualität messen, und wie?  Relevanz abhängig vom Projektkontext  Fundiertes Verständnis der Qualitätseigenschaften erforderlich  Eigenschaften kontextabhängig  Aktivitätsbasierter Qualitätsansatz  Referenzmodell (Basis für Tailoring) Dokumentation von Anforderungen Auswirkungen von Qualität Qualitätsdefinitionsansatz und -modell Evaluation der Messbarkeit Bewertungsmeta- und Prozessmodell Bewertungsmodell
  • 22. Technische Universität München – Lehrstuhl Software & Systems Engineering 22Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 Beiträge der Arbeit Fragestellung 1: Welchen Stellenwert hat die (Qualität der) Anforderungs- spezifikation? Fragestellung 2: Was ist Qualität? Fragestellung 3: In wie weit lässt sich Qualität messen, und wie?  Relevanz abhängig vom Projektkontext  Fundiertes Verständnis der Qualitätseigenschaften erforderlich  Eigenschaften kontextabhängig  Aktivitätsbasierter Qualitätsansatz  Referenzmodell (Basis für Tailoring) Dokumentation von Anforderungen Auswirkungen von Qualität Qualitätsdefinitionsansatz und -modell Evaluation der Messbarkeit Bewertungsmeta- und Prozessmodell Bewertungsmodell
  • 23. Technische Universität München – Lehrstuhl Software & Systems Engineering Systematische Literaturstudie (136 Kennzahlen) (2397 Publikationen) Qualitätsbewertungsmodell Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 23 Quality Requirements Spectrum Comparison Refined Customer Needs Ratio Imposed Flexibility Constraints Ratio Ontology-Based Correctness Ext. Documentation Consistency Average Customer Goal Satisfaction Average Minimum Goal Satisfaction Number of Universal Quantifications Kennzahl
  • 24. Technische Universität München – Lehrstuhl Software & Systems Engineering Systematische Literaturstudie (136 Kennzahlen) (2397 Publikationen) Qualitätsbewertungsmodell Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 24 Uneingeschränkte Flexibilität des Kontrollflusses Unnötige Anforderungen Zielerfüllung Konsistenz zu übergeordneten Dokumenten Ontologisch fundiert Verwendung von universellen Quantifizierungen Quality Requirements Spectrum Comparison Refined Customer Needs Ratio Imposed Flexibility Constraints Ratio Ontology-Based Correctness Ext. Documentation Consistency Average Customer Goal Satisfaction Average Minimum Goal Satisfaction Number of Universal Quantifications Intrinsische Eigenschaft Kennzahl
  • 25. Technische Universität München – Lehrstuhl Software & Systems Engineering Systematische Literaturstudie (136 Kennzahlen) (2397 Publikationen) Qualitätsbewertungsmodell Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 25 Uneingeschränkte Flexibilität des Kontrollflusses Sem. Korrekt Unnötige Anforderungen Zielerfüllung Konsistenz zu übergeordneten Dokumenten Ontologisch fundiert Verwendung von universellen Quantifizierungen Quality Requirements Spectrum Comparison Refined Customer Needs Ratio Imposed Flexibility Constraints Ratio Ontology-Based Correctness Ext. Documentation Consistency Average Customer Goal Satisfaction Average Minimum Goal Satisfaction Number of Universal Quantifications Intrinsische Eigenschaft Kennzahl
  • 26. Technische Universität München – Lehrstuhl Software & Systems Engineering Ursachen Korrelierende Faktoren Unter- Attribute Systematische Literaturstudie (136 Kennzahlen) (2397 Publikationen) Qualitätsbewertungsmodell Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 26 Uneingeschränkte Flexibilität des Kontrollflusses Sem. Korrekt Unnötige Anforderungen Zielerfüllung Konsistenz zu übergeordneten Dokumenten Ontologisch fundiert Verwendung von universellen Quantifizierungen Quality Requirements Spectrum Comparison Refined Customer Needs Ratio Imposed Flexibility Constraints Ratio Ontology-Based Correctness Ext. Documentation Consistency Average Customer Goal Satisfaction Average Minimum Goal Satisfaction Number of Universal Quantifications Intrinsische Eigenschaft Kennzahl
  • 27. Technische Universität München – Lehrstuhl Software & Systems Engineering Ursachen Korrelierende Faktoren Unter- Attribute Systematische Literaturstudie (136 Kennzahlen) (2397 Publikationen) Qualitätsbewertungsmodell Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 27 Uneingeschränkte Flexibilität des Kontrollflusses Sem. Korrekt Unnötige Anforderungen Zielerfüllung Konsistenz zu übergeordneten Dokumenten Ontologisch fundiert Verwendung von universellen Quantifizierungen Quality Requirements Spectrum Comparison Refined Customer Needs Ratio Imposed Flexibility Constraints Ratio Ontology-Based Correctness Ext. Documentation Consistency Average Customer Goal Satisfaction Average Minimum Goal Satisfaction Number of Universal Quantifications Intrinsische Eigenschaft Kennzahl
  • 28. Technische Universität München – Lehrstuhl Software & Systems Engineering 28Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 Beiträge der Arbeit Fragestellung 1: Welchen Stellenwert hat die (Qualität der) Anforderungs- spezifikation? Dokumentation von Anforderungen Auswirkungen von Qualität Fragestellung 2: Was ist Qualität? Qualitätsdefinitionsansatz und -modell Fragestellung 3: In wie weit lässt sich Qualität messen, und wie? Evaluation der Messbarkeit Bewertungsmeta- und Prozessmodell Bewertungsmodell  Relevanz abhängig vom Projektkontext  Fundiertes Verständnis der Qualitätseigenschaften erforderlich  Eigenschaften kontextabhängig  Aktivitätsbasierter Qualitätsansatz  Referenzmodell (Basis für Tailoring)  Viele, spezifische Kennzahlen  Anwendung erfordert Commitment und z.T. hohe Einstiegshürden  Keine vollständige Bewertung  Konstruktive Nutzung möglich
  • 29. Technische Universität München – Lehrstuhl Software & Systems Engineering 29Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 Ausblick  Erweiterung der Qualitätsdefinition  Besonderheiten bei der Entwicklung von CPS  Agile Entwicklung  Beziehungen zw. Qualitätseigenschaften  Kennzahlen-basierte Qualitätsbewertung  Neue Kennzahlen  Integrierte Tool-Unterstützung  Lernen durch Messen
  • 30. Technische Universität München – Lehrstuhl Software & Systems Engineering 30Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 Vielen Dank für die Aufmerksamkeit Fragestellung 1: Welchen Stellenwert hat die (Qualität der) Anforderungs- spezifikation? Dokumentation von Anforderungen (Umfrage) Auswirkungen von Qualität (Experiment) Fragestellung 2: Was ist Qualität? Qualitätsdefinitionsansatz und -modell Fragestellung 3: In wie weit lässt sich Qualität messen, und wie? Evaluation der Messbarkeit Bewertungsmeta- und Prozessmodell Bewertungsmodell  Relevanz abhängig vom Projektkontext  Fundiertes Verständnis der Qualitätseigenschaften erforderlich  Eigenschaften kontextabhängig  Aktivitätsbasierter Qualitätsansatz  Referenzmodell (Basis für Tailoring)  Viele, spezifische Kennzahlen  Anwendung erfordert Commitment und z.T. hohe Einstiegshürden  Keine vollständige Bewertung  Konstruktive Nutzung möglich Motivation Lösungsansatz Evaluation Empirischer Nachweis Konstruktiver Beitrag
  • 31. Technische Universität München – Lehrstuhl Software & Systems Engineering Backup Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 31
  • 32. Technische Universität München – Lehrstuhl Software & Systems Engineering 3. In wie weit lässt sich das Bewertungsmodell für die konstruktive Qualitätssicherung einsetzen? 1. Welche Vorbedingungen erfordern die Kennzahlen? 2. In wie weit sind die Bewertungen gültig? Qualitätsbewertung: Grenzen der Messbarkeit GQM (Nahezu) zwingend erforderlich Verbessert erheblich Jakub Mund | Kennzahlen-basierte Qualitätsbewertung | Rigorosum, 12. Mai 2017 32