1. The Delphi Method - An Appropriate Approach to
Requirements Elicitation?
Simon Hummel
Pr¨sentation der Bachelorarbeit
a
Technische Fakult¨t
a
Albert-Ludwigs-Universit¨t, Freiburg
a
Lehrstuhl f¨r Softwaretechnik
u
2. ¨
Uberblick
1
Die Delphi-Methode
2
Ziel der Arbeit
3
Ansatz & Durchf¨hrung
u
4
Ergebnisse & Fazit
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
1/13
3. Die Delphi-Methode
Hintergrund
Fakten
Systematisches Befragungsverfahren
Zukunftsabsch¨tzungen und Konsensbildung
a
Entstanden in den 1950ern in der RAND Corporation
Milit¨rischer Hintergrund
a
(Sch¨tzung sowjetischer Angriffe auf die USA)
a
Name: Orakel von Delphi im antiken Griechenland
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
2/13
4. Die Delphi-Methode
Hintergrund
Fakten
Systematisches Befragungsverfahren
Zukunftsabsch¨tzungen und Konsensbildung
a
Entstanden in den 1950ern in der RAND Corporation
Milit¨rischer Hintergrund
a
(Sch¨tzung sowjetischer Angriffe auf die USA)
a
Name: Orakel von Delphi im antiken Griechenland
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
2/13
5. Die Delphi-Methode
Hintergrund
Fakten
Systematisches Befragungsverfahren
Zukunftsabsch¨tzungen und Konsensbildung
a
Entstanden in den 1950ern in der RAND Corporation
Milit¨rischer Hintergrund
a
(Sch¨tzung sowjetischer Angriffe auf die USA)
a
Name: Orakel von Delphi im antiken Griechenland
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
2/13
6. Die Delphi-Methode
Hintergrund
Fakten
Systematisches Befragungsverfahren
Zukunftsabsch¨tzungen und Konsensbildung
a
Entstanden in den 1950ern in der RAND Corporation
Milit¨rischer Hintergrund
a
(Sch¨tzung sowjetischer Angriffe auf die USA)
a
Name: Orakel von Delphi im antiken Griechenland
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
2/13
7. Die Delphi-Methode
Hintergrund
Fakten
Systematisches Befragungsverfahren
Zukunftsabsch¨tzungen und Konsensbildung
a
Entstanden in den 1950ern in der RAND Corporation
Milit¨rischer Hintergrund
a
(Sch¨tzung sowjetischer Angriffe auf die USA)
a
Name: Orakel von Delphi im antiken Griechenland
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
2/13
8. Die Delphi-Methode
Hintergrund
Fakten
Systematisches Befragungsverfahren
Zukunftsabsch¨tzungen und Konsensbildung
a
Entstanden in den 1950ern in der RAND Corporation
Milit¨rischer Hintergrund
a
(Sch¨tzung sowjetischer Angriffe auf die USA)
a
Name: Orakel von Delphi im antiken Griechenland
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
2/13
9. Die Delphi-Methode
Funktionsweise I
Befragung von Experten
Rundenbasiert
Anonym
Feedback f¨r Teilnehmer
u
Koordination durch ein “Monitorteam”
Ausnutzen des Delphi-Effekts
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
3/13
10. Die Delphi-Methode
Funktionsweise I
Befragung von Experten
Rundenbasiert
Anonym
Feedback f¨r Teilnehmer
u
Koordination durch ein “Monitorteam”
Ausnutzen des Delphi-Effekts
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
3/13
11. Die Delphi-Methode
Funktionsweise I
Befragung von Experten
Rundenbasiert
Anonym
Feedback f¨r Teilnehmer
u
Koordination durch ein “Monitorteam”
Ausnutzen des Delphi-Effekts
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
3/13
12. Die Delphi-Methode
Funktionsweise I
Befragung von Experten
Rundenbasiert
Anonym
Feedback f¨r Teilnehmer
u
Koordination durch ein “Monitorteam”
Ausnutzen des Delphi-Effekts
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
3/13
13. Die Delphi-Methode
Funktionsweise I
Befragung von Experten
Rundenbasiert
Anonym
Feedback f¨r Teilnehmer
u
Koordination durch ein “Monitorteam”
Ausnutzen des Delphi-Effekts
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
3/13
14. Die Delphi-Methode
Funktionsweise I
Befragung von Experten
Rundenbasiert
Anonym
Feedback f¨r Teilnehmer
u
Koordination durch ein “Monitorteam”
Ausnutzen des Delphi-Effekts
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
3/13
15. Die Delphi-Methode
Funktionsweise II
Runde 1
Runde n
Ergebnisse
Überprüfen von Abbruchkriterien
Auswerten der Ergebnisse
Erstellen des neuen Fragebogens
Rückkoppeln von Ergebnissen
Analyse der Ergebnisse
Erstellen des initialen Fragebogens
Festlegen der Kommunikationsstruktur
Festlegen der Bewertungsskalen
...
Monitorteam
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
4/13
16. Ziel der Arbeit
Ist die Delphi-Methode eine geeignete Methode f¨r
u
Requirements Elicitation?
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
5/13
17. Ansatz & Durchf¨hrung
u
¨
Uberpr¨fung durch eine Fallstudie:
u
1
Anpassung und Durchf¨hrung der Delphi-Methode
u
2
Erstellen eines Prototypen
3
Durchf¨hrung und Auswertung eines Akzeptanztests
u
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
6/13
18. Ansatz & Durchf¨hrung
u
Delphi-Methode I
Delphi-Befragung in drei Runden
1. Runde:
Basierend auf User Stories
Evaluation des momentanen Systems
Grundlegende Anforderungen
M¨glichkeiten f¨r weitere Anforderungen
o
u
2. Runde:
Einf¨hren von Anforderungen aus den Ergebnissen
u
Kl¨ren von Unklarheiten/Mehrdeutigkeiten
a
3. Runde:
Einf¨hren von Anforderungen aus den Ergebnissen
u
Kl¨ren von Unklarheiten/Mehrdeutigkeiten
a
Evaluation des Mock-up
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
7/13
19. Ansatz & Durchf¨hrung
u
Delphi-Methode I
Delphi-Befragung in drei Runden
1. Runde:
Basierend auf User Stories
Evaluation des momentanen Systems
Grundlegende Anforderungen
M¨glichkeiten f¨r weitere Anforderungen
o
u
2. Runde:
Einf¨hren von Anforderungen aus den Ergebnissen
u
Kl¨ren von Unklarheiten/Mehrdeutigkeiten
a
3. Runde:
Einf¨hren von Anforderungen aus den Ergebnissen
u
Kl¨ren von Unklarheiten/Mehrdeutigkeiten
a
Evaluation des Mock-up
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
7/13
20. Ansatz & Durchf¨hrung
u
Delphi-Methode I
Delphi-Befragung in drei Runden
1. Runde:
Basierend auf User Stories
Evaluation des momentanen Systems
Grundlegende Anforderungen
M¨glichkeiten f¨r weitere Anforderungen
o
u
2. Runde:
Einf¨hren von Anforderungen aus den Ergebnissen
u
Kl¨ren von Unklarheiten/Mehrdeutigkeiten
a
3. Runde:
Einf¨hren von Anforderungen aus den Ergebnissen
u
Kl¨ren von Unklarheiten/Mehrdeutigkeiten
a
Evaluation des Mock-up
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
7/13
21. Ansatz & Durchf¨hrung
u
Delphi-Methode I
Delphi-Befragung in drei Runden
1. Runde:
Basierend auf User Stories
Evaluation des momentanen Systems
Grundlegende Anforderungen
M¨glichkeiten f¨r weitere Anforderungen
o
u
2. Runde:
Einf¨hren von Anforderungen aus den Ergebnissen
u
Kl¨ren von Unklarheiten/Mehrdeutigkeiten
a
3. Runde:
Einf¨hren von Anforderungen aus den Ergebnissen
u
Kl¨ren von Unklarheiten/Mehrdeutigkeiten
a
Evaluation des Mock-up
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
7/13
22. Ansatz & Durchf¨hrung
u
Delphi-Methode II
Die Frageb¨gen
o
Online via LimeSurvey
Multiple-Choice-Fragen f¨r Bewertungen
u
Freitext-Fragen f¨r Begr¨ndungen und neue Anforderungen
u
u
Basierend auf den Ergebnissen des Vorg¨nger-Fragebogens
a
Anforderungen:
Bei uberwiegender Zustimmung angenommen
¨
Bei uberwiegender Ablehnung verworfen
¨
Bei Ausgewogenheit in die n¨chste Runde
a
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
8/13
23. Ansatz & Durchf¨hrung
u
Delphi-Methode II
Die Frageb¨gen
o
Online via LimeSurvey
Multiple-Choice-Fragen f¨r Bewertungen
u
Freitext-Fragen f¨r Begr¨ndungen und neue Anforderungen
u
u
Basierend auf den Ergebnissen des Vorg¨nger-Fragebogens
a
Anforderungen:
Bei uberwiegender Zustimmung angenommen
¨
Bei uberwiegender Ablehnung verworfen
¨
Bei Ausgewogenheit in die n¨chste Runde
a
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
8/13
24. Ansatz & Durchf¨hrung
u
Delphi-Methode II
Die Frageb¨gen
o
Online via LimeSurvey
Multiple-Choice-Fragen f¨r Bewertungen
u
Freitext-Fragen f¨r Begr¨ndungen und neue Anforderungen
u
u
Basierend auf den Ergebnissen des Vorg¨nger-Fragebogens
a
Anforderungen:
Bei uberwiegender Zustimmung angenommen
¨
Bei uberwiegender Ablehnung verworfen
¨
Bei Ausgewogenheit in die n¨chste Runde
a
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
8/13
25. Ansatz & Durchf¨hrung
u
Delphi-Methode II
Die Frageb¨gen
o
Online via LimeSurvey
Multiple-Choice-Fragen f¨r Bewertungen
u
Freitext-Fragen f¨r Begr¨ndungen und neue Anforderungen
u
u
Basierend auf den Ergebnissen des Vorg¨nger-Fragebogens
a
Anforderungen:
Bei uberwiegender Zustimmung angenommen
¨
Bei uberwiegender Ablehnung verworfen
¨
Bei Ausgewogenheit in die n¨chste Runde
a
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
8/13
26. Ansatz & Durchf¨hrung
u
Delphi-Methode II
Die Frageb¨gen
o
Online via LimeSurvey
Multiple-Choice-Fragen f¨r Bewertungen
u
Freitext-Fragen f¨r Begr¨ndungen und neue Anforderungen
u
u
Basierend auf den Ergebnissen des Vorg¨nger-Fragebogens
a
Anforderungen:
Bei uberwiegender Zustimmung angenommen
¨
Bei uberwiegender Ablehnung verworfen
¨
Bei Ausgewogenheit in die n¨chste Runde
a
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
8/13
27. Ansatz & Durchf¨hrung
u
Prototyp I
Prototyp bestehend aus zwei Subsystemen
1
Webinterface
Benutzerdaten
Benutzereinstellungen
Transaktions¨bersicht
u
Statistiken
Ein-/Auszahlungen (Admin)
Benutzer- und Warenverwaltung (Admin)
2
Client
Kauf von Waren via Geste oder Liste
Starten eines Timers
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
9/13
28. Ansatz & Durchf¨hrung
u
Prototyp I
Prototyp bestehend aus zwei Subsystemen
1
Webinterface
Benutzerdaten
Benutzereinstellungen
Transaktions¨bersicht
u
Statistiken
Ein-/Auszahlungen (Admin)
Benutzer- und Warenverwaltung (Admin)
2
Client
Kauf von Waren via Geste oder Liste
Starten eines Timers
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
9/13
29. Ansatz & Durchf¨hrung
u
Prototyp I
Prototyp bestehend aus zwei Subsystemen
1
Webinterface
Benutzerdaten
Benutzereinstellungen
Transaktions¨bersicht
u
Statistiken
Ein-/Auszahlungen (Admin)
Benutzer- und Warenverwaltung (Admin)
2
Client
Kauf von Waren via Geste oder Liste
Starten eines Timers
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
9/13
30. Ansatz & Durchf¨hrung
u
Prototyp II
Verwendete Technologien
Webinterface
Client
Server
Html/CSS/JS
Html/CSS/JS
ObjectDB
GWT
GWT
Tomcat
SmartGWT
SmartGWT
Windows Server
Apple iPad 2
Safari
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
10/13
31. Ansatz & Durchf¨hrung
u
Prototyp II
Verwendete Technologien
Webinterface
Client
Server
Html/CSS/JS
Html/CSS/JS
ObjectDB
GWT
GWT
Tomcat
SmartGWT
SmartGWT
Windows Server
Apple iPad 2
Safari
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
10/13
32. Ansatz & Durchf¨hrung
u
Prototyp II
Verwendete Technologien
Webinterface
Client
Server
Html/CSS/JS
Html/CSS/JS
ObjectDB
GWT
GWT
Tomcat
SmartGWT
SmartGWT
Windows Server
Apple iPad 2
Safari
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
10/13
33. Ansatz & Durchf¨hrung
u
Akzeptanztest
¨
Uberpr¨fen der gefundenen Anforderungen durch einen
u
Akzeptanztest des Prototypen
Testbetrieb des Prototypen
(Client und Webinterface)
Anschließende Befragung der Teilnehmer
(m¨ndlich oder schriftlich)
u
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
11/13
34. Ansatz & Durchf¨hrung
u
Akzeptanztest
¨
Uberpr¨fen der gefundenen Anforderungen durch einen
u
Akzeptanztest des Prototypen
Testbetrieb des Prototypen
(Client und Webinterface)
Anschließende Befragung der Teilnehmer
(m¨ndlich oder schriftlich)
u
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
11/13
35. Ansatz & Durchf¨hrung
u
Akzeptanztest
¨
Uberpr¨fen der gefundenen Anforderungen durch einen
u
Akzeptanztest des Prototypen
Testbetrieb des Prototypen
(Client und Webinterface)
Anschließende Befragung der Teilnehmer
(m¨ndlich oder schriftlich)
u
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
11/13
36. Ergebnisse & Fazit
Ergebnisse des Akzeptanztests waren nicht besonders gut:
Fehlende Anforderungen
Nichtfunktionale Anforderungen
Widerspr¨che zu Ergebnissen der Delphi-Methode
u
Probleme:
Wenig Einsatz der “Betroffenen”
Fehlende Kenntnis des Monitorteams
Nichtfunktionale/technische Anforderungen nicht erfasst
Geringe Stichprobengr¨ßen
o
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
12/13
37. Ergebnisse & Fazit
Ergebnisse des Akzeptanztests waren nicht besonders gut:
Fehlende Anforderungen
Nichtfunktionale Anforderungen
Widerspr¨che zu Ergebnissen der Delphi-Methode
u
Probleme:
Wenig Einsatz der “Betroffenen”
Fehlende Kenntnis des Monitorteams
Nichtfunktionale/technische Anforderungen nicht erfasst
Geringe Stichprobengr¨ßen
o
Simon Hummel
The Delphi Method - An Appropriate Approach to Requirements Elicitation?
12/13