2. Agenda
• Supplier Performance Measurement (SPM)
• Functiepunten en productiviteit
• Inrichten SPM proces
• Conclusies
2
3. Agenda
• Supplier Performance Measurement (SPM)
• Functiepunten en productiviteit
• Inrichten SPM proces
• Conclusies
3
4. Supplier Performance Measurement
• Organisaties besteden IT ontwikkeling en
beheer uit aan 1 leverancier
• Deze ene leverancier wordt gekozen o.b.v.
diverse criteria, bijvoorbeeld:
− Omvang en schaalbaarheid
− Technische en functionele domeinkennis
− Bereidheid te investeren in verbetering
− Beloften v.w.b. productiviteitsverbetering
− Transparantie en voorspelbaarheid
• Leverancier moet meten en openheid geven
4
5. SPM – 3 fasen
1. Selectie van de juiste leverancier
− Kwalitatieve criteria
− Kwantitatieve criteria
2. Vaststellen baseline productiviteit en prijs per
UoM per domein
3. Voortdurend meten van prestaties van
leverancier
5
6. Typische vragen in RFP fase SPM
• Wat is uw productiviteit in Java projecten?
• Wat is het percentage productiviteitswinst dat u
de komende x jaar gaat realiseren?
• Hoe gaat u deze productiviteitswinst realiseren?
• Op welke manier stelt u voor om de
productiviteit te meten?
6
7. Hoe word je de ‘chosen one’
• Volwassenheid
− Minimum CMMI level 3, liefst hoger
• Hoge en aantoonbare productiviteit en kwaliteit
− Kennis en vaardigheden medewerkers
− Efficiënte en effectieve processen, beperkte overhead
• Flexibel en meedenkend
− Snel kunnen schakelen is een vereiste
− Inhoudelijk advies wordt verwacht
• Beloftes doen en nakomen
− Basis is vertrouwen en transparantie
− Meten en rapporteren van productiviteit en kwaliteit
7
8. Volwassenheid (CMMI)
• Vanaf CMMI level 3 zijn processen voldoende
gedefinieerd en beschreven in standaards,
procedures, tools en methodes
8
9. Agenda
• Supplier Performance Measurement (SPM)
• Functiepunten en productiviteit
• Inrichten SPM proces
• Conclusies
9
10. Functiepunten
• In de meeste SPM trajecten komen de volgende
zaken terug:
− Unit of Measurement (UoM): b.v. functiepunten
− Productiviteit (PDR = uren per functiepunt)
− Kwaliteit (#defects per functiepunt na oplevering)
• Waarom functiepunten?
− Functionaliteit is wat gebruiker wil
− Meer functionaliteit mag meer kosten
• Alternatief: regels code (technisch)
− Is regels code wat de gebruiker wil?
− Meer regels code betekent niet meer functionaliteit
10
11. Functiepunten
• Functiepuntanalyse
− Objectief (ISO standaard)
− Herhaalbaar
− Verifieerbaar
• Kwantificeert de omvang van de functional user
requirements
− Onafhankelijk van de technologie
− Onafhankelijk van de implementatie
• Zegt niets over non-functionals
11
12. Technologie onafhankelijk
Uren besteed: 3.000
• Applicatie A = 6 uur/FP
− Omvang = 500 FP
Applicatie A
− Technologie: Java
− Architectuur stand alone
Uren besteed: 6.000
• Applicatie B = 12 uur/FP
− Omvang = 500 FP
Applicatie B
− Technologie: Cobol / .NET
− Architectuur SOA
• Omvang is hetzelfde, maar productiviteit niet!
12
13. Productiviteit (uur/FP) – organisatie specifiek
• Kennis en vaardigheden van de mensen
− Ervaring
− Certificering in technische omgevingen
− Bijscholingsmogelijkheden
• Volwassenheid van de organisatie
− Aanwezigheid kwaliteitssysteem
− Processen, procedures, standaarden
• Overhead
− Hoeveel tijd wordt gespendeerd aan activiteiten als
urencodes regelen, boeken van uren, vergaderingen, etc.
• Locatie en facilities
− Onshore / offshore (veel video overleg)
− Prettige werkomgeving, goede tools, etc.
13
14. Productiviteit (uur/FP) – project specifiek
• Afhankelijk van technische requirements
− Java, Oracle of MS.NET
− Client/server of SOA architectuur
• Afhankelijk van kwaliteit requirements
− Performance eisen
− Security eisen
• Afhankelijk van uit te voeren activiteiten
− Wel of geen performance test
− Wel of geen handleiding als deliverable
• Afhankelijk van doorlooptijd
− Hoe korter de doorlooptijd, hoe lager de productiviteit
14
15. Het effect van doorlooptijd
Omvang/productiviteit
= Inspanning1/3 * doorlooptijd4/3
Inspanning
Plan A: 6 maanden, 4.500 uur
Plan B: 7 maanden, 2.400 uur
Doorlooptijd 15
22. Scope bepaling SPM
• Welke domeinen?
• Welke applicaties?
• Welke technologieën?
• Welke activiteiten?
− Nieuwbouw
− Adaptief onderhoud
− Correctief onderhoud
• Welke meetmomenten?
− Voor handover aan leverancier: reality check
− Voor handover aan klant: performance measurement
• Projectactiviteiten in en uit scope
22
23. Documentatie scan en UoM
• Documentatie scan
− Kwaliteit en meetbaarheid documentatie
− Welke UoM is geschikt
− Moet documentatie worden aangepast om meetbaarheid te
vergroten?
• UoM in contracten:
− Objectief, herhaalbaar, verifieerbaar
− Maat voor functionaliteit
− Functiepunten, tenzij niet mogelijk n.a.v. documentatie
scan
23
24. Performance metrieken (voorbeelden)
• Productiviteit:
− Project Delivery Rate (Uur/UoM)
− Productivity Index (PI)
− FP per manmaand
• Kwaliteit:
− Defects/UoM totaal
− Defects/UoM opgeleverd aan klant (A-test + productie)
− %Defects opgeleverd aan klant
• Snelheid (Time to market)
− UoM per kalendermaand
− Schedule conformance
24
26. Organisatorische inrichting
• Nieuw organisatie onderdeel of rol: metrics desk
• Management commitment
• Proces eigenaarschap
• Training
• Awareness sessies
• Communicatie
26
27. Proces op hoofdlijnen
Klant Leverancier Klant
-Feasibility study -Detailed -System integration
-Requirements -functional design -test
-analysis -Technical design -User acceptance
-Requirements -test
-Coding +
-design -programmer test -Implementation
-Global functional -Systems test
-design
-Delivery to klant
SOW based on Performance
UoM and measurement
historical data
27
29. Voorbeeld verificatie
B&T Effort (MHR) vs Effective FP
1.000
Niet realistisch?
100
B&T Effort (MHR) (thousands)
B&T Effort (MHR) (thousands)
10
1
0,1
10 100 1.000 10.000
Effective FP
Current Solution Logged Solutions Historical Projects QSM Business Av g. Line Sty le 1 Sigma Line Sty le Project: Project X
29
30. Na afloop project
Leverancier – Klant –
SOW update SOW acceptatie
UoM meting definitief UoM meting verificatie
Data collectie Uren, doorlooptijd,
kosten, defects
Uren, doorlooptijd, verificatie
kosten, defects
Performance Performance
Measurement rapport Measurement rapport
acceptatie
30
31. Benchmark project: intern en extern
• Evaluatie project lerende organisatie!
C&T Duration (Months) vs Effective FP
100
Project X
C&T Duration (Months)
C&T Duration (Months)
10
1
0,1
100 200 300 400 500 600 700 800 900 1.000
Effective FP
Projects being Assessed Special Project QSM Business Avg. Line Style 1 Sigma Line Style 31
2 Sigma Line Style
32. Benchmark project: intern en extern
C&T Effort (MHR) vs Effective FP
1.000
100
C&T Effort (MHR) (thousands)
10
Project X
1
0,1
100 200 300 400 500 600 700 800 900 1.000
Effective FP
Projects being Assessed Special Project QSM Business Avg. Line Style 1 Sigma Line Style 2 Sigma Line Style 32
33. Benchmark: intern en extern
Errors (SysInt-Del) vs Effective FP
1.000
Errors (SysInt-Del)
Errors (SysInt-Del)
Project X
100
10
100 200 300 400 500 600 700 800 900 1.000
Effective FP
Projects being Assessed Special Project QSM Business Avg. Line Sty le 1 Sigma Line Sty le 2 Sigma Line Style
33
34. Management rapportages
• Trends in performance
Supplier X Efficiency lndex Supplier X Productivity lndex
2,0 2,0
1,8 1,8
Productivity Index
Efficiency Index
1,6 1,6
1,4 1,4
1,2 1,2
1,0 1,0
0,8 0,8
0,6 0,6
0,4 0,4
2011Q1 2011Q2 2011Q3 2011Q4 2012Q1 2011Q1 2011Q2 2011Q3 2011Q4 2012Q1
Supplier X efficiency index Target (baseline +50%) Supplier X Productivity Index Target (baseline +50%)
Baseline Efficiency Lower bound (baseline -40%) Baseline Productiviteit Lower bound (baseline -40%)
Supplier X Cost lndex Supplier X Quality Index
2,0 1,6
1,8 1,4
1,6 1,2
Quality Index
Cost Index
1,4 1
1,2 0,8
1,0 0,6
0,8 0,4
0,6 0,2
0,4 0
2011Q1 2011Q2 2011Q3 2011Q4 2012Q1 2011Q1 2011Q2 2011Q3 2011Q4 2012Q1
Supplier X Cost index Higher bound(baseline +50%) Quality index Supplier X Target (baseline +50%)
34
Baseline kosten niveau Target (baseline -50%) Baseline Quality Lower bound (baseline -40%)
35. Agenda
• Supplier Performance Measurement (SPM)
• Functiepunten en productiviteit
• Inrichten SPM proces
• Conclusies
35
36. Conclusies
• Inrichten SPM is niet eenvoudig en kan alleen bij
voldoende volwassenheid
• Meten productiviteit(sverbetering) vergt
inspanning van zowel leverancier als klant
• Keuze leverancier gaat verder dan kijken naar
prijs en/of totale productiviteit
• Inrichten SPM is omvangrijke operatie die een
behoorlijke inspanning en doorlooptijd vergt
36
37. Supplier Performance
Measurement
Uitbesteden met controle,
houd grip op de prestaties van
de leverancier
37
