Retour sur Expérience sur l'intégraion continue et PHP

1. L’équipe IT
Oswald De Riemaecker, Anthony Laurain,
Sebastien Retoux, Christophe Diprima,
Christian Schramm
16 May 2013
Le Test chez atHome.lu
Retour sur expérience
Friday, May 17, 13

2. L’équipe atHome
• Oswald De Riemaecker - Team Lead : Passionné de Linux, technologie
open source, développement web et gestion de projet/produit Agile.
• Anthony Laurain - Senior Platform Developer (Zend Framework Certified
developer)
• Sebastien Retoux - Tactical Coordinator and Release Manager
• Christophe DiPrima - UX/Intégrateur
• Christian Schramm - DevOps/Linux SysAdmin (Zend Framework Certified)
Friday, May 17, 13

3. La Stratégie de testFriday, May 17, 13

4. Automatisés
Tests Unitaires
Tests de composants
Test GUI
Manuels & Automatisés
Tests Fonctionnels
Exemples
Tests sur Storyboards
Tests de perception
Maquettes
Prototypes / Simulation
Outils
Tests de performance
Tests de Charge
Tests de sécurité
Manuels
Tests exploratoiresScénarios
Tests d'utilisabilité
Tests d'acceptation (UAT)
Orientation Business
Orientation Technologie
Soutiendel'équipe
CritiqueProduit
Q1
Q2 Q3
Q4
Les quatre quadrants du Test Agile de Brian Marick
Friday, May 17, 13

5. La pyramide des tests automatisés de Mike Cohn
Unit Tests
Tests API
Tests d’Intégration
Tests de Composent
Tests GUI
Tests Manuel
Orientation Technologie
Orientation
Business
Développons nous le
bon système ?
Développons nous le
système
correctement ?
Friday, May 17, 13

6. Les outils
Friday, May 17, 13

7. L'interface utilisateur avec Sahi
Les critères d'acceptance avec Behat
Le code avec PHPUnit
Les outils par couches
Unit Tests
Tests API
Tests d’Intégration
Tests de Composent
Tests GUI
Tests Manuel
Friday, May 17, 13

8. Les tests unitaire avec PHPUnit
 PHPUnit est un framework de tests unitaires PHP
 Nouveau développement avec une approche développement par le
test (TDD)
 Couverture maximal de nouvelle classe
Friday, May 17, 13

9. Behat
s
Feature: Testing the RESTfulness of the immotype controller
Background:
Given I am using the rest service and I am logged with "username:password"
Scenario: Fetching immotype by id
Given that I want to find a "Immotype"
When I request "/immotype/24"
Then the "id" property equals "24"
And the "description_en" property equals "Business Takeover"
Then the response is JSON
Then the response status code should be 200
When I request "/immotype/1000"
Then the response status code should be 404
Friday, May 17, 13

10. Behat
 Framework BDD pour PHP
s
Feature: Testing the RESTfulness of the immotype controller
Background:
Given I am using the rest service and I am logged with "username:password"
Scenario: Fetching immotype by id
Given that I want to find a "Immotype"
When I request "/immotype/24"
Then the "id" property equals "24"
And the "description_en" property equals "Business Takeover"
Then the response is JSON
Then the response status code should be 200
When I request "/immotype/1000"
Then the response status code should be 404
Friday, May 17, 13

11. Behat
 Framework BDD pour PHP
 Orienté métier
s
Feature: Testing the RESTfulness of the immotype controller
Background:
Given I am using the rest service and I am logged with "username:password"
Scenario: Fetching immotype by id
Given that I want to find a "Immotype"
When I request "/immotype/24"
Then the "id" property equals "24"
And the "description_en" property equals "Business Takeover"
Then the response is JSON
Then the response status code should be 200
When I request "/immotype/1000"
Then the response status code should be 404
Friday, May 17, 13

12. Behat
 Framework BDD pour PHP
 Orienté métier
 Utilise le Gerkhin Syntaxe "Un langage compréhensible orienté besoins métier, qui décrit le
comportement d'une application sans se préoccuper des détails de l'implémentation"
s
Feature: Testing the RESTfulness of the immotype controller
Background:
Given I am using the rest service and I am logged with "username:password"
Scenario: Fetching immotype by id
Given that I want to find a "Immotype"
When I request "/immotype/24"
Then the "id" property equals "24"
And the "description_en" property equals "Business Takeover"
Then the response is JSON
Then the response status code should be 200
When I request "/immotype/1000"
Then the response status code should be 404
Friday, May 17, 13

13. Behat
 Framework BDD pour PHP
 Orienté métier
 Utilise le Gerkhin Syntaxe "Un langage compréhensible orienté besoins métier, qui décrit le
comportement d'une application sans se préoccuper des détails de l'implémentation"
 Basé sur les critères d'acceptance d'une histoire utilisateur,
fonctionne très bien avec un gestion de produit agile
s
Feature: Testing the RESTfulness of the immotype controller
Background:
Given I am using the rest service and I am logged with "username:password"
Scenario: Fetching immotype by id
Given that I want to find a "Immotype"
When I request "/immotype/24"
Then the "id" property equals "24"
And the "description_en" property equals "Business Takeover"
Then the response is JSON
Then the response status code should be 200
When I request "/immotype/1000"
Then the response status code should be 404
Friday, May 17, 13

14. Sahi
Friday, May 17, 13

15. Sahi
 C’est le haut de notre pyramide de test
Friday, May 17, 13

16. Sahi
 C’est le haut de notre pyramide de test
 Outil de test pour les applications web
Friday, May 17, 13

17. Sahi
 C’est le haut de notre pyramide de test
 Outil de test pour les applications web
 Enregistrement de scénario utilisateur dans le navigateur
Friday, May 17, 13

18. Sahi
 C’est le haut de notre pyramide de test
 Outil de test pour les applications web
 Enregistrement de scénario utilisateur dans le navigateur
 Lorsque nécessaire, les scénarios principaux, peu susceptible de
changer au niveau interface mais ayant un risque de régression
importante (Inscription d’utilisateur/Login/Alerte email)
Friday, May 17, 13

19. Les outils pour l'IC
Friday, May 17, 13

20. La gestion des branches de développement
Master
Branch SprintBranch Sprint
Tactic / Bug Fixes Tactic / Bug Fixes Tactic / Bug Fixes Tactic / Bug Fixes
Intégration
Continue
Remonté de
la Master
Friday, May 17, 13

21. La gestion des branches de développement
 Logiciel de gestion de versions décentralisé
Master
Branch SprintBranch Sprint
Tactic / Bug Fixes Tactic / Bug Fixes Tactic / Bug Fixes Tactic / Bug Fixes
Intégration
Continue
Remonté de
la Master
Friday, May 17, 13

22. La gestion des branches de développement
 Logiciel de gestion de versions décentralisé
 Branch Master, la dernière en production
Master
Branch SprintBranch Sprint
Tactic / Bug Fixes Tactic / Bug Fixes Tactic / Bug Fixes Tactic / Bug Fixes
Intégration
Continue
Remonté de
la Master
Friday, May 17, 13

23. La gestion des branches de développement
 Logiciel de gestion de versions décentralisé
 Branch Master, la dernière en production
 Branch de Goal de Sprint/Epique de produit
Master
Branch SprintBranch Sprint
Tactic / Bug Fixes Tactic / Bug Fixes Tactic / Bug Fixes Tactic / Bug Fixes
Intégration
Continue
Remonté de
la Master
Friday, May 17, 13

24. La gestion des branches de développement
 Logiciel de gestion de versions décentralisé
 Branch Master, la dernière en production
 Branch de Goal de Sprint/Epique de produit
 Branch de prototypage pour le test rapide d’implémentation de
solution technique
Master
Branch SprintBranch Sprint
Tactic / Bug Fixes Tactic / Bug Fixes Tactic / Bug Fixes Tactic / Bug Fixes
Intégration
Continue
Remonté de
la Master
Friday, May 17, 13

25. Le système de build
Friday, May 17, 13

26. Le système de build
 Outil open source d'intégration continue
Friday, May 17, 13

27. Le système de build
 Outil open source d'intégration continue
 Interface avec des systèmes de gestion de versions
Friday, May 17, 13

28. Le système de build
 Outil open source d'intégration continue
 Interface avec des systèmes de gestion de versions
 Apache Ant et scripts Shell
Friday, May 17, 13

29. Le système de build
 Outil open source d'intégration continue
 Interface avec des systèmes de gestion de versions
 Apache Ant et scripts Shell
 Plugin Extreme feed back sur grand écran pour un retour rapide sur
l’état de build
Friday, May 17, 13

30. La construction sur conteneur virtuel
http://master.athome.lu
http://dev01.athome.lu
http://dev02.athome.lu
http://dev03.athome.lu
http://dev04.athome.lu
...
Friday, May 17, 13

31. La construction sur conteneur virtuel
 OpenVZ permet à un serveur physique d'exécuter de multiples
instances de systèmes d'exploitation isolés
http://master.athome.lu
http://dev01.athome.lu
http://dev02.athome.lu
http://dev03.athome.lu
http://dev04.athome.lu
...
Friday, May 17, 13

32. La construction sur conteneur virtuel
 OpenVZ permet à un serveur physique d'exécuter de multiples
instances de systèmes d'exploitation isolés
 Installé à la création de job jenkins
http://master.athome.lu
http://dev01.athome.lu
http://dev02.athome.lu
http://dev03.athome.lu
http://dev04.athome.lu
...
Friday, May 17, 13

33. La construction sur conteneur virtuel
 OpenVZ permet à un serveur physique d'exécuter de multiples
instances de systèmes d'exploitation isolés
 Installé à la création de job jenkins
 Copie de l’environnement de production
http://master.athome.lu
http://dev01.athome.lu
http://dev02.athome.lu
http://dev03.athome.lu
http://dev04.athome.lu
...
Friday, May 17, 13

34. Le processusFriday, May 17, 13

35. Scrum with Agile Product Management
Epique
Epique
Epique
Epique
En tant qu'administrateur ...
En tant qu'agent ..
En tant que visiteur ...
En tant que utilisateur ...
Critère d’acceptance:
...............................
...............................
...............................
...............................
Friday, May 17, 13

36. Scrum with Agile Product Management
 Carnet Produit
Epique
Epique
Epique
Epique
En tant qu'administrateur ...
En tant qu'agent ..
En tant que visiteur ...
En tant que utilisateur ...
Critère d’acceptance:
...............................
...............................
...............................
...............................
Friday, May 17, 13

37. Scrum with Agile Product Management
 Carnet Produit
 Découpage en épique
Epique
Epique
Epique
Epique
En tant qu'administrateur ...
En tant qu'agent ..
En tant que visiteur ...
En tant que utilisateur ...
Critère d’acceptance:
...............................
...............................
...............................
...............................
Friday, May 17, 13

38. Scrum with Agile Product Management
 Carnet Produit
 Découpage en épique
 Découpage en histoire utilisateurs
Epique
Epique
Epique
Epique
En tant qu'administrateur ...
En tant qu'agent ..
En tant que visiteur ...
En tant que utilisateur ...
Critère d’acceptance:
...............................
...............................
...............................
...............................
Friday, May 17, 13

39. Scrum with Agile Product Management
 Carnet Produit
 Découpage en épique
 Découpage en histoire utilisateurs
 Critère d'acceptance (SEO/Code Postaux/ACL ...)
Epique
Epique
Epique
Epique
En tant qu'administrateur ...
En tant qu'agent ..
En tant que visiteur ...
En tant que utilisateur ...
Critère d’acceptance:
...............................
...............................
...............................
...............................
Friday, May 17, 13

40. Sprint Planning
En tant qu'administrateur ...
En tant qu'agent ..
En tant que visiteur ...
En tant que utilisateur ...
GOAL DE SPRINT
Critère d’acceptance:
...............................
...............................
...............................
...............................
Friday, May 17, 13

41. Sprint Planning
 Création de la branch de Goal de sprint GIT
En tant qu'administrateur ...
En tant qu'agent ..
En tant que visiteur ...
En tant que utilisateur ...
GOAL DE SPRINT
Critère d’acceptance:
...............................
...............................
...............................
...............................
Friday, May 17, 13

42. Sprint Planning
 Création de la branch de Goal de sprint GIT
 Création du Job Jenkins
En tant qu'administrateur ...
En tant qu'agent ..
En tant que visiteur ...
En tant que utilisateur ...
GOAL DE SPRINT
Critère d’acceptance:
...............................
...............................
...............................
...............................
Friday, May 17, 13

43. Le Sprint
Master
Branch Sprint
Tactic / Bug Fixes
Intégration
Continue
Remonté de
la Master
Sandbox
Jenkins
Histoire Utilisateur 1
PHP Unit / Behat Dev
Histoire Utilisateur 2
PHP Unit / Behat Dev
Histoire Utilisateur 3
PHP Unit / Behat Dev
Histoire Utilisateur 4
PHP Unit / Behat Dev
Production
Tactic / Bug Fixes
VZ Branch de Sprint
VZ Master
+ Manuel Testing + Validation+
+ Manuel Testing+
+ Manuel Testing+
Deploy Deploy Deploy
Intégration
de la branch
de Sprint
+
+
+
Friday, May 17, 13

44. Jenkins
Friday, May 17, 13

45. Jenkins
• Des Jobs de branch de Goal de sprint
• Le job Branch Master avec la master Sahi si Master successful
• Le job de déploiement en production
• Le modèle pour la création de nouveau job
Friday, May 17, 13

46. Jenkins
Paramètre du build
Friday, May 17, 13

47. Jenkins
Paramètre du build
• Synchronisation de la base de donnée de production, jenkins va chercher la
dernier base en production et la réinstaller, ce paramètre est très utile pour
valider les mise à jour SQL
• Rebuild solr
• Réinstallation complète du conteneur virtuel (avec installation système)
• Version php + mariadb
• Ainsi qu’une l’utilisation d’une base de donnée light
Friday, May 17, 13

48. Jenkins
Extreme Feed back
• Voici un exemple
• Lors du dernier build nous avons la branch highlight avec 1 test non passé
Friday, May 17, 13

49. Jenkins
Rapport de Build avec Résultat de test
Friday, May 17, 13

50. Jenkins
Message d’erreur pour le test qui n’a pas passé
• Le test vérifie que le service REST en GET retourne bien les statistiques de
notre offre, il y a un problème de nom de colonne dans le modèle de la
table des statistique
• Détection et identification du problème rapide
Friday, May 17, 13

51. Jenkins
En résumé
Friday, May 17, 13

52. Jenkins
Jenkins nous permet donc:
En résumé
Friday, May 17, 13

53. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
En résumé
Friday, May 17, 13

54. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
 Intégration développement
En résumé
Friday, May 17, 13

55. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
 Intégration développement
 Mise à jour et test de la base de donnée
En résumé
Friday, May 17, 13

56. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
 Intégration développement
 Mise à jour et test de la base de donnée
 Mise à jour et test que Solr
En résumé
Friday, May 17, 13

57. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
 Intégration développement
 Mise à jour et test de la base de donnée
 Mise à jour et test que Solr
 Installation outils de test
En résumé
Friday, May 17, 13

58. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
 Intégration développement
 Mise à jour et test de la base de donnée
 Mise à jour et test que Solr
 Installation outils de test
 Test Unitaires
En résumé
Friday, May 17, 13

59. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
 Intégration développement
 Mise à jour et test de la base de donnée
 Mise à jour et test que Solr
 Installation outils de test
 Test Unitaires
 Test BDD Behat
En résumé
Friday, May 17, 13

60. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
 Intégration développement
 Mise à jour et test de la base de donnée
 Mise à jour et test que Solr
 Installation outils de test
 Test Unitaires
 Test BDD Behat
 Rapport de build
En résumé
Friday, May 17, 13

61. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
 Intégration développement
 Mise à jour et test de la base de donnée
 Mise à jour et test que Solr
 Installation outils de test
 Test Unitaires
 Test BDD Behat
 Rapport de build
 Identification de tests qui ne sont pas passé
En résumé
Friday, May 17, 13

62. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
 Intégration développement
 Mise à jour et test de la base de donnée
 Mise à jour et test que Solr
 Installation outils de test
 Test Unitaires
 Test BDD Behat
 Rapport de build
 Identification de tests qui ne sont pas passé
 Lancement d'autre build (Sahi)
En résumé
Friday, May 17, 13

63. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
 Intégration développement
 Mise à jour et test de la base de donnée
 Mise à jour et test que Solr
 Installation outils de test
 Test Unitaires
 Test BDD Behat
 Rapport de build
 Identification de tests qui ne sont pas passé
 Lancement d'autre build (Sahi)
 Déploiement en production
En résumé
Friday, May 17, 13

64. Jenkins
Jenkins nous permet donc:
 Construction environnement virtuel
 Intégration développement
 Mise à jour et test de la base de donnée
 Mise à jour et test que Solr
 Installation outils de test
 Test Unitaires
 Test BDD Behat
 Rapport de build
 Identification de tests qui ne sont pas passé
 Lancement d'autre build (Sahi)
 Déploiement en production
En résumé
Friday, May 17, 13

65. Behat
Le fichier de fonctionnalité
• Behat, le milieu de notre pyramide.
• Vérifions pourquoi notre test behat n’est pas passé, nous avons ici nos
critères d’acceptance sous forme de Gerkhin Syntaxe.
Friday, May 17, 13

66. Behat
Le test behat en ligne de commande
• Nous avons donc un problème avec le contrôler REST statistiques global
Friday, May 17, 13

67. Behat
Identification rapide du problème avec Jenkins
• Nous identifions rapidement sur base des derniers commits que le gateway
Omniture Property Views à été changé
Friday, May 17, 13

68. Behat
Correction de notre Méthode
• Nous pouvons corriger et relancer le build
Friday, May 17, 13

69. Behat
Notre build passe
Friday, May 17, 13

70. Behat
Notre test Behat passe
Friday, May 17, 13

71. Behat
Jeux de donnée de test
• Behat et Jenkins nous permet d’avoir des jeux donnée pour les test manuel
et GUI
Friday, May 17, 13

72. Behat
En résumé
Friday, May 17, 13

73. Behat
Behat nous permet donc:
En résumé
Friday, May 17, 13

74. Behat
Behat nous permet donc:
 Tester le métier, avec la même approche que le TDD, on écrit les critère
d’acceptance de la fonctionnalité testée, ce qui permet de structuré sa
pensée et son code, on pense par le test.
En résumé
Friday, May 17, 13

75. Behat
Behat nous permet donc:
 Tester le métier, avec la même approche que le TDD, on écrit les critère
d’acceptance de la fonctionnalité testée, ce qui permet de structuré sa
pensée et son code, on pense par le test.
 Tester les ACL (Accès Control List)
En résumé
Friday, May 17, 13

76. Behat
Behat nous permet donc:
 Tester le métier, avec la même approche que le TDD, on écrit les critère
d’acceptance de la fonctionnalité testée, ce qui permet de structuré sa
pensée et son code, on pense par le test.
 Tester les ACL (Accès Control List)
 Tester les services RESTful et sa sécurité
En résumé
Friday, May 17, 13

77. Behat
Behat nous permet donc:
 Tester le métier, avec la même approche que le TDD, on écrit les critère
d’acceptance de la fonctionnalité testée, ce qui permet de structuré sa
pensée et son code, on pense par le test.
 Tester les ACL (Accès Control List)
 Tester les services RESTful et sa sécurité
 Injecter des données pour les tests manuel et GUI
En résumé
Friday, May 17, 13

78. Sahi
Sahi Liens manquant
Friday, May 17, 13

79. Sahi
Rapport Sahi
Friday, May 17, 13

80. Sahi
Rapport de Test pour la publication d’offre
• Notre lien manquant
Friday, May 17, 13

81. Sahi
Scripting Sahi
Friday, May 17, 13

82. Sahi
Scripting Sahi
• Nous avons ajouté un système de dictionnaire pour pouvoir tester nos
différents sites, par exemple l’utilisation de la ville Troisvierges sur athome.lu
et Saarbruken sur athome.de
• Nous faisons aussi des tests SEO, nous validons que les blocs SEO en
bas de page redirige vers la bonne page et que celle-ci a bien les bons Title
et Meta
• Ce test nous a permis de trouver un problème avec la génération des
Titles SEO que nous n’aurions certainement pas pu voir autrement.
Friday, May 17, 13

83. Sahi
En résumé
Friday, May 17, 13

84. Sahi
Sahi nous permet donc:
En résumé
Friday, May 17, 13

85. Sahi
Sahi nous permet donc:
 Tests sur plusieurs navigateurs
En résumé
Friday, May 17, 13

86. Sahi
Sahi nous permet donc:
 Tests sur plusieurs navigateurs
 Valider les fonctionnalités utilisateur critiques (Inscription/Login/Email
Alerts)
En résumé
Friday, May 17, 13

87. Sahi
Sahi nous permet donc:
 Tests sur plusieurs navigateurs
 Valider les fonctionnalités utilisateur critiques (Inscription/Login/Email
Alerts)
 Valider navigation utilisateur
En résumé
Friday, May 17, 13

88. Sahi
Sahi nous permet donc:
 Tests sur plusieurs navigateurs
 Valider les fonctionnalités utilisateur critiques (Inscription/Login/Email
Alerts)
 Valider navigation utilisateur
 Valider liens SEO
En résumé
Friday, May 17, 13

89. Sahi
Sahi nous permet donc:
 Tests sur plusieurs navigateurs
 Valider les fonctionnalités utilisateur critiques (Inscription/Login/Email
Alerts)
 Valider navigation utilisateur
 Valider liens SEO
En résumé
Friday, May 17, 13

90. Next Steps
Friday, May 17, 13

91. Ce qui nous reste encore a faire:
Next Steps
Friday, May 17, 13

92. Ce qui nous reste encore a faire:
 Ajout de métrique, Code Coverage + PHP Tools (PHPcp/md ...)
Next Steps
Friday, May 17, 13

93. Ce qui nous reste encore a faire:
 Ajout de métrique, Code Coverage + PHP Tools (PHPcp/md ...)
 Améliorer les tests Sahi sur plusieurs navigateurs
Next Steps
Friday, May 17, 13

94. Ce qui nous reste encore a faire:
 Ajout de métrique, Code Coverage + PHP Tools (PHPcp/md ...)
 Améliorer les tests Sahi sur plusieurs navigateurs
 Implémenter des tests de performance
Next Steps
Friday, May 17, 13

95. Ce qui nous reste encore a faire:
 Ajout de métrique, Code Coverage + PHP Tools (PHPcp/md ...)
 Améliorer les tests Sahi sur plusieurs navigateurs
 Implémenter des tests de performance
 Implémenter JsTestDriver dans Jenkins
Next Steps
Friday, May 17, 13

96. Ce qui nous reste encore a faire:
 Ajout de métrique, Code Coverage + PHP Tools (PHPcp/md ...)
 Améliorer les tests Sahi sur plusieurs navigateurs
 Implémenter des tests de performance
 Implémenter JsTestDriver dans Jenkins
Next Steps
Friday, May 17, 13

97. Questions
Friday, May 17, 13

98. ?
Questions
Friday, May 17, 13

99. Je tiens à remercier
 L'équipe atHome pour leur travail!
 VA Consulting
 Vous !
Twitter: oswald_odr
Email: oswald.odr.pm@gmail.com
Remerciement
Friday, May 17, 13