Etude réalisée par Converteo, pour Kameleoon, en partenariat avec FrenchWeb Septembre 2014

1. 16/09/2014
1
Une enquête réalisée par pour en partenariat avec
1èreenquête sur les pratiques de l’A/B testingen France
Romain Créteur, Manager Analytics& Testing
rc@converteo.com
16/09/2014
Une enquête réalisée par pour en partenariat avec

2. 16/09/2014
2
Une enquête réalisée par pour en partenariat avec
Méthodologie de l’enquête
L’objectif de cette enquête est de dresser un panorama de l’utilisation de l’A/B Testingen France, tant dans la diffusion de son utilisation que dans ses modes d’exploitation et ses processd’organisation internes
176 réponses ont été collectées auprès de directeurs, managers et opérationnels de sites de taille et de nature variées
–Les répondants ont été interrogés par web et téléphone entre le 2 mai et le 15 juin 2014
Cette étude a été réalisée par Converteopour le compte de la société Kameleoonen partenariat avec Frenchweb
.

3. 16/09/2014
3
Une enquête réalisée par pour en partenariat avec
L’A/B testing, bien que très positivement perçu, tarde à être utilisé de manière régulière à cause de la complexité de sa mise en oeuvre technique et organisationnelle
.
Malgré une forte reconnaissance, l’A/B testing est une pratique encore peu répandue:
lorsqu’elle est utilisée, elle l’est encore de manière trop superficielle et non systématique
un manque d’information et un manque de ressources internes expliquent que 54% des personnes interrogées n’utilisent toujours pas l’A/B testing aujourd’hui
Les opinions au sujet de l’A/B testing varient selon le trafic du site, le secteur d’activité et la fonction de la personne interrogée, mais c’est globalement une pratique considérée commeutile voire indispensable
L’A/B testing convainc largement ses utilisateurs qui la désigne le plus souvent comme leur pratique favorite pour l’optimisation de la conversion
La gestion des processassociés à l’utilisation de l’A/B testing reste complexe :
L’A/B testing va au delà du seul choix d’un bon outil mais nécessite l’adaptation des processus de travail et la mise en place d’équipes projets transverses (Marketing + IT)
Les équipes Marketing sont systématiquement au coeur des processliés à la mise en place d’un projet d’A/B testing mais les équipes IT sont trop souvent mises de côté
L’A/B testing est une pratique considérée comme simple mais avec des étapes critiques qu’il faut bien maitriser
1
2
3
4

4. 16/09/2014
4
Une enquête réalisée par pour en partenariat avec
Etat des lieux de l’A/B Testing en France

5. 16/09/2014
5
Une enquête réalisée par pour en partenariat avec
L’A/B Testing est une pratique encore assez mal diffusée : seuls 23% des sites e- commerce l’utilisent de manière régulière ou continue
Une proportion encore limitée de sites utilisent l’A/B Testingcomme moyen d’optimisation de la conversion
Parmi ceux qui l’utilisent, 50% seulement y ont recours de manière régulière ou continue
Le nombre de tests réalisés par an est supérieur à 20 dans moins de 30% des cas
.
21%
24%
26%
29%
Combien de tests réalisez-vous par an ?
Inférieur à 5
Entre 5 et 10
Entre 10 et 20
Supérieur à 20
54%
23%
23%
Faites-vous de l'A/B testing ?
Non
Oui, demanièreponctuelle
Oui, demanièrerégulière / continue

6. 16/09/2014
6
Une enquête réalisée par pour en partenariat avec
Pourtant, 94% des personnes interrogées considèrent l’A/B Testingcomme une pratique utile voire indispensable
Les utilisateurs de l’A/B testingsemblent satisfaits des résultats obtenus: 99% considèrent cette pratique comme utile voire indispensable (pour 53% d’entre eux)
Auprès des personnes n’utilisant pas l’A/B testing, cette pratique a néanmoins une image plutôt positive: 46% d’entre elles la considèrent utile voire indispensable (pour 7% d’entre eux)
.
1%
5%
56%
38%
Diriez-vous que l'A/B Testingest:
Inutile
Peu utile
Utile
Indispensable
46%
53%
1%
Pour les personnes utilisantl'A/B Testing:
Utile
Indispensable
Non renseigné
2%
8%
39%
7%
44%
Pour les personnes n'utilisant pasl'A/B Testing
Inutile
Peu utile
Utile
Indispensable
Non renseigné

7. 16/09/2014
7
Une enquête réalisée par pour en partenariat avec
54% des personnes interrogées ne font pas d’A/B testing, principalement à cause d’un manque d’information et de temps
.
Le manque de ressources (temps, information, compétences) est le principal frein au développement de l'A/B testingdans les entreprises
Plus de 50% des répondants n’ayant pas encore démarré de projet de testingprévoit de le faire, pour la majorité d’entre eux sous moins de 12 mois
32%
9%
42%
20%
13%
Je ne sais pasce qu'est l'A/Btesting
Je ne pensepas que l'A/Btesting ait unintérêt
Manque detemps
Manque decompétencesinternes
Absence desollicitation / desociété pourm'accompagner
Quelles sont les raisons pour lesquelles vous n'avez pas démarré de projet ?
27%
21%
20%
15%
17%
A quelle échéance est prévu votre projet ?
Pas de projet
Moins de 6 mois
Entre 6 mois et unan
Plus d'un an
Non renseigné
Remarque: Plusieurs réponses étaient possibles à cette question.
Manque d’intérêt: 41 %
Manque de ressources: 75 %

8. 16/09/2014
8
Une enquête réalisée par pour en partenariat avec
Segmentation selon la nature des acteurs et des personnes interrogées

9. 16/09/2014
9
Une enquête réalisée par pour en partenariat avec
L’utilisation de l’A/B testing est d’autant plus fréquente qu’elle concerne des sites avec des volumes importants de visites uniques
.
33%
73%
80%
67%
27%
20%
< 1 million
Entre 1 ou 5 millions
> 5 millions
Faites-vous de l'A/B testing ?
Oui
Non
A mesure que le site gagne en nombre de visiteurs, l’utilisation de l’A/B testing s’impose comme une norme d’optimisation de la conversion.
visiteurs uniques par mois
et

10. 16/09/2014
10
Une enquête réalisée par pour en partenariat avec
La nature de Pure playerou l’objectif transactionnel d’un site ne sont pas différenciant vis-à-vis de l’utilisation de l’A/B testing
Il y a très peu de différence entre pure playerset non pure playersrelativement à l’utilisation de l’A/B testing ; il n’y a pas un type d’acteurs particulièrement plus mature qu’un autre
Contrairement aux idées reçues, ce ne sont pas les sites de vente en ligne qui sont les plus matures sur l’A/B testingmais les sites de génération de leads
NB : Les sites de vente sont toutefois plus nombreux en valeur absolue à avoir répondu à l’enquête
.
Faites-vous de l’A/B testing?
47%
44%
Pure player
Non Pure player
Pure playerou Non Pure player
Pourcentage de "oui"
45%
38%
44%
73%
Vente
Corporate
Media
Lead Generation
Objectif du site
Pourcentage de "oui"

11. 16/09/2014
11
Une enquête réalisée par pour en partenariat avec
En revanche, des différences de maturité sont repérables selon les secteurs d’activité
.
Les secteurs «Petites annonces, location», «Banque, Assurance, Conseil» et «Retail, Distribution» enregistrent de bonnes performances
En revanche, le secteur «Construction, Bricolage, Jardinage» est en retard; de même pour «Mode, beauté, santé» alors même que l’optimisation de la conversion sur site représente un enjeu important
70%
59%
48%
47%
30%
29%
44%
Petites annonceslocation
Banque, assurance, conseil
Retail, Distribution
Internet etTélécommunications
Mode, beauté, santé
Construction, Bricolage, Jardinage
Autres
Faites-vous de l'A/B testing?

12. 16/09/2014
12
Une enquête réalisée par pour en partenariat avec
Les personnes issues des fonctions marketing sont globalement plus favorables à l’A/B testing que celles issues des fonctions techniques
.
Dans les deux cas, il y a un socle important de personnes qui considèrent l’A/B testing comme indispensable (50%)
Pourtant, 97% des responsable Marketing pensent que l’A/B testingest utile voire indispensable contre "seulement" 75% des responsables IT
3%
47%
50%
Marketing
25%
25%
50%
Technique
Inutile
Peu utile
Utile
Indispensable
Pensez-vous que l’A/B testingest une pratique…

13. 16/09/2014
13
Une enquête réalisée par pour en partenariat avec
Les directeurs et les managers sont plus sceptiques sur l’utilité de l’A/B testing que les opérationnels
.
Les directeurs et les managers sont tous convaincus de l'utilité de l'A/B testing, alors que les opérationnels donnent des réponses plus diverses
Mais plus on progresse dans la hiérarchie, plus l’utilité de l’A/B testing est discutée: managers et directeurs le voient davantage comme un outil utile voire peu utile et moins nombreux sont ceux qui le considèrent indispensable ; il reste donc de la pédagogie à faire pour démontrer que l’A/B testing est essentiel
0%
0%
10%
19%
0%
0%
56%
60%
30%
25%
40%
60%
Directeurs
Managers
Opérationnels
Pensez-vous que l’A/B testing est une pratique…
Inutile
Peu utile
Utile
Indispensable

14. 16/09/2014
14
Une enquête réalisée par pour en partenariat avec
Les modes d’utilisation de l’A/B Testing

15. 16/09/2014
15
Une enquête réalisée par pour en partenariat avec
L’utilisation de l’A/B testing est encore relativement superficielle et non systématique
Beaucoup d'entreprises n'ont pas encore totalement intégré l'A/B testingdans leurs processus de travail :
–Moins de 20% testent systématiquement les évolutions de leurs sites
–A peine 50% ont déjà réalisé des tests qu’elles qualifient de «avancés»
.
Oui19%
Non81%
Testez-vous systématiquement les modifications de votre site ?
0%
10%
20%
30%
40%
50%
60%
70%
Des tests simples
Des tests avancés
Des tests avec redirectiond'URL
Quel types de tests réalisez-vous ?
Remarque: Plusieurs réponses étaient possibles à cette question.

16. 16/09/2014
16
Une enquête réalisée par pour en partenariat avec
En revanche, il est dans 57% des cas utilisé pour créer des expériences personnalisées
.
Oui57%
Non43%
Utilisez-vous l'A/B testing pour créer des expériences personnalisées ?
Plus de la moitié des répondants ont déjà utilisé leur outil d’A/B testingpour créer des expériences personnalisées
Cela montre très clairement la convergence des deux problématiques qui permet d’anticiper une intégration de plus en plus forte des outils d’A/B testinget de personnalisation dans le quotidien des équipes web

17. 16/09/2014
17
Une enquête réalisée par pour en partenariat avec
L’A/B testing est devenue la pratique favorite de ses utilisateurs pour l’optimisation de la conversion
.
L’A/B testingoccupe la première place parmi les pratiques favorites d’optimisation de la conversion chez ses utilisateurs
Il est souvent combiné avec d’autres outils et fait partie d’un écosystème
L’utilisation de l’A/B testingrévèle un meilleur niveau de maturité sur les techniques d'optimisation en général : sur tous les items, les utilisateurs d'A/B testingsont en avance
38%
54%
63%
37%
20%
2%
UX / Ergonomie
Analytique
A/B Testing
Recommandations/ Personnalisation
Search
Autre
Pour les utilisateurs d'A/B testing:
14%
24%
0%
7%
18%
4%
33%
UX / Ergonomie
Analytique
A/B Testing
Recommandations / personnalisation
Search
Autre
Non renseignéPour les non-utilisateurs d'A/B testing:
Remarque: Plusieurs réponses étaient possibles à cette question.

18. 16/09/2014
18
Une enquête réalisée par pour en partenariat avec
La gestion des process associés à l’utilisation de l’A/B Testing

19. 16/09/2014
19
Une enquête réalisée par pour en partenariat avec
Internalisation/ ExternalisationLes outils commercialisés sont les plus fréquents parmi les utilisateurs d’A/B testing
La plupart des personnes interrogées déclarent utiliser un outil commercialisé par un éditeur pour faire de l’A/B testing
Rares sont ceux qui utilisent un outil open-source ou gratuit
Pour les utilisateurs d’outilsexternes, la fonction d’édition graphique est la plus populaire, maisdansl'ensembleles différentes fonctions sont toutes équitablement utilisées
.
23%
73%
4%
Quel type d'outil utilisez-vous ?
Un outil développéen interne
Un outilcommercialisé parun éditeur
Un outil open- source ou gratuit
Remarque: Plusieurs réponses étaient possibles à cette question.
0
5
10
15
20
25
30
35
40
45
D'éditiongraphique
D'éditionavancée(CSS, Javascript)
De ciblage
Dereportinginterne
Dereportingdans votreoutil dewebanalyse
Carte dechaleurheatmap
Nonapplicable
Si vous utilisez un outil externe, utilisez- vous les fonctions...

20. 16/09/2014
20
Une enquête réalisée par pour en partenariat avec
Internalisation / ExternalisationEn revanche, l’utilisation de l’A/B testing est internalisée pour la plupart
67% des personnes interrogées déclarent réaliser seules leurs tests et la plupart préservent la gestion de projet en interne ou la négligent
Ces chiffres sont à mettre en regard avec les contraintes de temps et de compétencesprécédemment mentionnées, l’externalisation pouvantapporter une réponse à ces problèmes
On remarquera que la partie la plus externalisée est la réalisation des tests en eux-mêmes alors que c’est celle où la valeur ajoutée est la moins grande
.
Remarque: Plusieurs réponses étaient possibles à cette question.
67%
15%
26%
12%
2%
Je réalise seul mes tests
J'externalise l'identificationdes pistes d'amélioration(roadmap des tests)
J'externalise la réalisationdes tests
J'externalise l'analyse destests
J'externalise la gestion deprojet
Comment utilisez-vous votre(vos) outil(s) d'A/B testing ?

21. 16/09/2014
21
Une enquête réalisée par pour en partenariat avec
OrganisationL’équipe marketing est souvent désignée pour piloter les projet d’A/B testing
Pour 95% des utilisateurs d’A/B testing, l’équipe marketing doit être impliquée dans les projets d’A/B testing
En revanche, beaucoup négligent l’importance de l’équipe technique :
–Seulement 44% des utilisateurs d'A/B testing et 25% des non-utilisateurs d'A/B testing considèrent que ces projets doivent mener par le marketing et l'IT conjointement
.
51%
4%
44%
1%
Pour les utilisateursd'A/B testing:
L'équipe marketing
L'équipe technique
Co-responsabilitééquipe marketing / équipe technique
Je ne sais pas
46%
1%
25%
28%
Pour les non-utilisateursd'A/B testing:
L'équipe marketing
L'équipe technique
Co-responsabilitééquipemarketing/équipetechnique
Je ne sais pas
Selon vous, qui doit piloter votre projet d’A/B testing ?

22. 16/09/2014
22
Une enquête réalisée par pour en partenariat avec
OrganisationDiverses fonctions peuvent être impliquées dans des projets d’A/B testing mais c’est souvent la direction marketing qui centralise les informations
Le pilotage des campagnesd'A/B testing est souvent confié à un chef de projet ou un web analyst
La direction marketing centralise les résultats qui peinent encore à être partagés au-delà : on notera en particulier le faible partage avec les équipes IT dont la roadmap devrait pourtant être impactée par les tests menés
.
56%
35%
46%
67%
9%
Chef de projet
UX/Designer/Ergonome
Développeur front-end (Javascriptet CSS)
Web analyst
Autre
Quelles sont les fonctions impliquées dans vos projets d'A/B testing ?
Remarque: Plusieurs réponses étaient possibles à ces question.
89%
40%
28%
2%
Direction marketing
Direction générale
Direction technique
Autre
Les résultats de vos campagnes d'A/B testing sont-ils partagés / communiqués ?

23. 16/09/2014
23
Une enquête réalisée par pour en partenariat avec
OrganisationL’A/B testing est une pratique considérée comme simple mais avec des étapes critiques qu’il faut bien maitriser
L’A/B testing est considérée comme une pratique plutôt simple voire très simple par la plupart des personnes interrogées ; pourtant près de la moitié des répondants ont déclaré n'avoir mené que des tests simples
Les étapes les plus critiques sont l’identification des pistes d’améliorations ergonomiques et l’analyse des résultats qui sont également les moins externalisées
.
51%
16%
23%
33%
Identification despistesd'améliorationsergonomiques
Réalisationtechnique du test
Paramétrage du test
Analyse desrésultats
Quelle est, selon vous, l'étape la plus critique d'un projet d'A/B testing ?
8%
69%
23%
Considérez-vous l’A/B testing comme une pratique…
Très simple
Simple
Compliquée
Remarque: Plusieurs réponses étaient possibles à cette question.

24. 16/09/2014
24
Une enquête réalisée par pour en partenariat avec
Vouspouveztéléchargernotrelivre blanc surle testing surwww.converteo.com
Merci