Etude de maturité d'une organisation de tests avec TPI Next

1. Étude de maturité
d’une organisation de tests
avec TPI® Next
12 / 06 /2012Michaël Belkasmi (mbelkasmi@henix.fr)
01.42.31.02.05

2. Étude de maturité avec TPI Next
Étude de maturité d’une organisation de tests
avec TPI® Next
• Présentation du modèle TPI Next®
• REX de mise en œuvre d’une étude
de maturité
12/06/2012 2

3. Préambule : enjeux et objectifs d’une étude de maturité
• ENJEUX :
Améliorer la qualité des pratiques
et des livrables des activités de test
• OBJECTIFS :
 Dresser un bilan objectif des pratiques de test
 Identifier les axes d’amélioration :
Quicks wins & Préconisations
3Étude de maturité avec TPI Next 12/06/2012

4. Le modèle TPI Next®
12/06/2012 4Étude de maturité avec TPI Next

5. Qu’est-ce que TPI Next® ?
• TPI = Test Process Improvement
• Modèle d'évaluation du niveau de maturité des processus de test :
 permet de dresser un état des lieux,
 propose des axes d’amélioration.
• Historique :
– Créé par Sogeti NL en 1998
– Next = nouvelle version de TPI® (2009)
• Cadre de référence de TPI® Next : TMAP® Next
• Le modèle est décliné sous la forme d’une matrice de questions à
poser dans le cadre d’interview
(téléchargeable sur http://www.tmap.net/en/tpi-next/downloads)
512/06/2012Étude de maturité avec TPI Next

6. Les principes
6Étude de maturité avec TPI Next 12/06/2012
16 secteurs clés
Ils couvrent les activités du test selon plusieurs axes :
~150 points de contrôle
Permettent de mesurer de façon objective
l’atteinte des exigences de chaque niveau.
Suggestions d’amélioration
Préconisations pour permettre l’atteinte
d’un certain niveau de maturité.
3 niveaux de maturité
Contrôlé  « Doing the right things »
Efficient  « Doing things the right way »
Optimisé  « Continuously adapting to ever-changing circumstances »
 Organisation
 Outils et méthodologie
 Mise en œuvre
 RH
= questions à
poser en entretien

7. Les 16 secteurs clés
7Étude de maturité avec TPI Next 12/06/2012
Catégorie # Secteur clé
Mise en
œuvre
3 Stratégie de test
5 Communication
6 Reporting
7 Gestion du processus de test
8 Estimations et planification
9 Métriques
10 Gestion des anomalies
11 Gestion du patrimoine de test
14 Conception des cas de test
Outils et
méthodo
12 Méthodologie
15 Outils de test
16 Environnement de test
Organisation
1 Implication des acteurs projet dans les processus de test
2
Degré de participation de l'équipe de test dans la gestion
globale du projet
4 Fonctionnement des activités de tests (équipes et procédures)
RH 13 Compétence de l'équipe de test

8. La matrice : extrait du secteur 3 (Stratégie de test)
8Étude de maturité avec TPI Next 12/06/2012
Contrôlé
3.c.1 Le Commanditaire est d'accord avec la stratégie de test établie.
3.c.2 La stratégie de test se base sur une analyse des risques liés au système testé.
3.c.3
Les risques identifiés sont pris en compte pour déterminer :
- les types de test (tests unitaires, recette usine...),
- la couverture de test et
- la profondeur de test à mettre en œuvre.
3.c.4
La stratégie de test définit un plan de test spécifique pour chaque itération et pour les
tests de non régression.
Efficient
3.e.1
Tous les acteurs projets prennent connaissance et sont d'accord avec la stratégie de test
établie.
3.e.2
Une attention particulière est portée sur les recouvrements ou les manques entre les
différents types de test.
3.e.3
La stratégie de test prend en compte l'ensemble des techniques de conception de tests
couvertes par la méthodologie.
Optimisé
3.o.1
Le processus de création de la stratégie de test est régulièrement évalué et, si nécessaire,
adapté pour de futures utilisations.
3.o.2 La stratégie de test est revue en fonction des incidents rencontrés en production.
Réponse par OUI,
Non ou NSP

9. Exemple de restitution TPI® Next
9Étude de maturité avec TPI Next 12/06/2012
#Secteur clé Init. Contrôlé Efficient Optimisé
1
Implication des acteurs projet dans les
processus de test N/A N/A N/A N/A N/A N/A N/A N/A N/A N/A
2
Degré de participation de l'équipe de test dans
la gestion globale du projet O O N N N N N N/S N/A
3 Stratégie de test N/A O O N O N N/A N/A N/A
4
Fonctionnement des activités de tests (équipes
et procédures) O O O N/A N N/A N/A N N/A N/A N/A
5 Communication O O O O O O N/A N/A N/A
6 Reporting O O O N/S O O N/A N/A
7 Gestion du processus de test O N/A N O O O N/A N/A N/A
8 Estimations et planification O O N N/A N N/S N/S N/A N/A N/A N/A
9 Métriques O O O O O N N/S N/A N/A
10 Gestion des anomalies O O O O NSP N O O N N/A N/A
11 Gestion du patrimoine de test O O O N N O N N/A N/A N/A
12 Sommaire N N/S N/S N/S N/S N/S N/S N/A N/A
13 Synthèse des résultats O N/S O N/S N N/S N/A N/A N/A N/A N/A
14 Conception des cas de test O O O O O N N/A N/A N/A N/A
15 Outils de test O O N N/S N/S N/S N/S N/A N/A N/A
16 Environnement de test O O N N N O N N N/A N/A N/A
Oui
Non / Non significatif / Non
applicable
Ne sait pas

10. 10Étude de maturité avec TPI Next 12/06/2012
REX de mise en œuvre
d’une étude de maturité

11. Enjeux et objectifs de l’étude de maturité
11Étude de maturité avec TPI Next 12/06/2012
• La direction YYY d’un grand groupe de l’assurance engage une réflexion
sur la professionnalisation du métier de l’homologation.
• Organisation de la qualification dans le service :
o une équipe dédiée sur une partie du SI (réf. produit)  ~4 p.
o pour les autres domaines, prise en charge de la qualification par l’AMO  ~15 p.
• ENJEUX DE L’ÉTUDE DE MATURITÉ :
 Sécuriser les phases d’homologation du SI
 Harmoniser les pratiques :
– au sein de la direction YYY,
– avec un CS de qualification existant dans une autre direction
• OBJECTIFS :
 Dresser un état des lieux factuel des activités de qualification
 Identifier les axes d’amélioration
 Proposer un plan de mise en œuvre

12. • Périmètre de l’étude = 3 équipes différentes :
• Calendrier :
• Personnes interviewées ou rencontrées :
– AMO : 9 personnes
– MOE : 4 personnes
– Centre de service de qualification : 1 personne
– Utilisateurs : 2 personnes
Déroulement de l’étude
12Étude de maturité avec TPI Next 12/06/2012
SI Historique
Qualif.
produitInternet
Contrats &
Prestations
Réglementaire
/ Transverses
Projet de
refonte
P 1 P 2 P 3
Cadrage &
Préparation
5 jours 12 jours 10 jours
Analyse &
Diagnostic
Restitution
Déc. 2011 Jan. 2012 Fév. 2012

13. La démarche mise en œuvre à base de Squash + TPI®
13Étude de maturité avec TPI Next 12/06/2012
Prise de connaissance :
 le contexte organisationnel et fonctionnel,
 le cadre de référence méthodologique
Préparation des interviews en constituant un questionnaire
et une trame d’entretien adaptés au contexte du client
Définition des objectifs et du périmètre de l’audit
Analyse des livrables produits
(stratégie de test, référentiel des tests,
tableaux de bords…)
Analyse des processus de qualification
(Rencontre des équipes chargées des tests lors
d’interviews avec le questionnaire TPI Next®)
Phase 3
Restitution
Présentation des conclusions de l’étude et des axes d’amélioration préconisés :
Rapport de l’étude :
- Constats
- Cartographie du niveau de maturité
- Préconisations et recommandations
Plan de mise en œuvre
Phase 2
Analyse &
Diagnostic
Phase 1
Cadrage &
Préparation
RH Organisation Méthodologie
& Outillage
Mise en
œuvre
Maturité des process
 Conformité  respect des modèles de livrables en
termes d’existence et de formalisme (CH).
 Pertinence  vérification de l'atteinte des objectifs
définis dans la méthodologie.
 Lisibilité  évaluation de la clarté du livrable, de sa
facilité d'appropriation et de compréhension.
 Cycle de vie  respect du cycle de validation du
livrable et de la traçabilité des modifications qui lui
sont apportées.
 Profil des équipes de test
 Méthodologie
 Motivation
 Implication des acteurs projets
 Pilotage opérationnel
 Respect de la méthodologie
 Mise en œuvre des outils
 Capitalisation…
Qualité des livrables
4 axes d’analyse :
Adressé
par TPI®

14. Présentation du rapport de l’étude de maturité
14Étude de maturité avec TPI Next 12/06/2012
 Démarche
 Déroulement de l’étude
ÉTAT DES LIEUX
 Synthèse des constats
 Bilan : cartographie du niveau de maturité
 Bilan : qualité des livrables
RECOMMANDATIONS
 Préconisations détaillés
PLAN DE MISE EN ŒUVRE
 Proposition de plan de mise en œuvre
 Plan d’action court terme
 Risques
Couvert
par TPI®

15. Exemple : bilan de la maturité des process
15Étude de maturité avec TPI Next 12/06/2012

16. Exemple : le plan de mise en œuvre
1612/06/2012Étude de maturité avec TPI Next
Périmètre applicatif
SI Histo Projet refonte Qualif. produit
Méthodologie et
outillageActivitésliéesautest
Stratégie
Rédaction cahier
de recette
Exécution
Pilotage recette
& PV
Equipe B
A Equipe C
Equipe C
Equipe C
Equipe D
Equipe D
Equipe D
Equipe D
Description de
l’existant
AAA
A AAA
A AAA
…
…
…
B C

17. Exemple : le plan de mise en œuvre
1712/06/2012Étude de maturité avec TPI Next
Périmètre applicatif
SI Histo Projet refonte Qualif. produit
Méthodologie et
outillageActivitésliéesautest
Stratégie
Rédaction cahier
de recette
Exécution
Pilotage recette
& PV
Equipe B
A Equipe C
Equipe C
Equipe C
Equipe D
Equipe D
Equipe D
Equipe D
AAA
A AAA
A AAA
…
…
…
B C
Groupe de travail + Expert
Étape 1/5
Février 2012
Étape 1
Février 2012
Les échelles ne sont pas proportionnelles
Étape 2
Mars 2012
Étape 3
Juillet 2012
Étape 4
Novembre 2012
Étape 5
Fin 2012
Expert
Equipe A
Equipe B
Renforts
Expert
 CQO
…Equipe C
Equipe D
…Renforts
Expert
 CQO
Equipe C
…Equip. D …CQO

18. Exemple : le plan de mise en œuvre
1812/06/2012Étude de maturité avec TPI Next
Périmètre applicatif
SI Histo Projet refonte Qualif. produit
Méthodologie et
outillageActivitésliéesautest
Stratégie
Rédaction cahier
de recette
Exécution
Pilotage recette
& PV
CQO
CQO
CQO
Equipe C
C
Equipe CCQO
Equipe D
Equipe D
Equipe D
Equipe D
AA
…
C
CQO
Equipe B
Groupe de travail + Expert

CQO
B
Étape 2/5
Mai 2012

Étape 1
Février 2012
Les échelles ne sont pas proportionnelles
Étape 2
Mars 2012
Étape 3
Juillet 2012
Étape 4
Novembre 2012
Étape 5
Fin 2012
Expert
Equipe A
Equipe B
Renforts
Expert
 CQO
…Equipe C
Equipe D
…Renforts
Expert
 CQO
Equipe C
…Equip. D …CQO

19. Exemple : le plan de mise en œuvre
1912/06/2012Étude de maturité avec TPI Next
Périmètre applicatif
SI Histo Projet refonte Qualif. produit
Méthodologie et
outillageActivitésliéesautest
Stratégie
Rédaction cahier
de recette
Exécution
Pilotage recette
& PV
Equipe CCQO
D
CQO
CQO
Equipe D
Equipe D
Equipe DCCQO
CCQO
CQO
CQO
Groupe de travail + Expert


Étape 3/5
Juillet 2012
Equipe B Renforts IBM Equipe D
Étape 1
Février 2012
Les échelles ne sont pas proportionnelles
Étape 2
Mars 2012
Étape 3
Juillet 2012
Étape 4
Novembre 2012
Étape 5
Fin 2012
Expert
Equipe A
Equipe B
Renforts
Expert
 CQO
…Equipe C
Equipe D
…Renforts
Expert
 CQO
Equipe C
…Equip. D …CQO

20. Exemple : le plan de mise en œuvre
2012/06/2012Étude de maturité avec TPI Next
Périmètre applicatif
SI Histo Projet refonte Qualif. produit
Méthodologie et
outillageActivitésliéesautest
Stratégie
Rédaction cahier
de recette
Exécution
Pilotage recette
& PV
Equipe CCQO
CQO
CQO
CCQO
CCQO
CQO
CQO
CQO
CQO
CQO


Étape 4/5
Octobre 2012
Equipe B Renforts C
Étape 1
Février 2012
Les échelles ne sont pas proportionnelles
Étape 2
Mars 2012
Étape 3
Juillet 2012
Étape 4
Novembre 2012
Étape 5
Fin 2012
Expert
Equipe A
Equipe B
Renforts
Expert
 CQO
…Equipe C
Equipe D
…Renforts
Expert
 CQO
Equipe C
…Equip. D …CQO

21. Exemple : le plan de mise en œuvre
2112/06/2012Étude de maturité avec TPI Next
Périmètre applicatif
SI Histo Projet refonte Qualif. produit
Méthodologie et
outillageActivitésliéesautest
Stratégie
Rédaction cahier
de recette
Exécution
Pilotage recette
& PV
CQO
CQO
CQO
CQO
CQO
Étape 5/5
Fin 2012
Étape 1
Février 2012
Les échelles ne sont pas proportionnelles
Étape 2
Mars 2012
Étape 3
Juillet 2012
Étape 4
Novembre 2012
Étape 5
Fin 2012
Expert
CP MOA
Gestionnaire
Renforts
Expert
 CQO
…IBM
Qualif. prod.
…Renforts
Expert
 CQO
IBM
…Qualif. prod. …CQO
Renforts éventuels

22. REX : points forts et limites de TPI® Next
• POINTS FORTS :
Une couverture exhaustive des process de qualification (selon TMAP)
Un cadre d’interview structuré
Des questions pouvant s’adapter à un large panel de profils
Un questionnaire aux vertus didactiques
• LIMITES & POINTS DE VIGILANCE :
Modèle très riche, orienté TMAP  Adapter le questionnaire au
contexte (ex: terminologie, profils) et au cadre de référence
Questionnaire pénible (~150 questions)  Alléger le
questionnaire ou réaliser l’interview en plusieurs fois
Un côté intrusif  Expliquer la démarche / rassurer
Non adapté aux projets agiles
Ne couvre pas la qualité des livrables / la mise en œuvre
22Étude de maturité avec TPI Next 12/06/2012

23. Conclusion : TPI® Next
• TPI® Next adresse la problématique de maturité sous l’angle process.
• Approche nécessaire à long terme, mais :
– Études de maturité assez lourdes
– Mise en œuvre des préconisations longue, parfois complexe (gest° du changement)
ROI potentiellement long
• Nécessité de compléter TPI® Next avec la vision ‘livrables’ :
 QUALITÉ DES LIVRABLES
Préconisations court terme / quick wins  Bénéfices rapides
 QUALITÉ DES PROCESS
Préconisations moyen / long terme  Bénéfices sur la durée
23Étude de maturité avec TPI Next 12/06/2012

24. Conclusion : TPI® + Squash
• Enrichir et compléter TPI® dans le cadre de Squash :
 Proposer une démarche complète pour la conduite d’étude de maturité
 Prendre en compte la qualité des livrables
 Adresser la phase de mise en œuvre
 Étendre le principe aux spécificités des méthodes agiles
24Étude de maturité avec TPI Next 12/06/2012