Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
Statistics 101
Quelle est la meilleure
version ?
100 100
14% 20%
Impossible de dire !
Les différences ne sont statistiquement significativ...
Qu’est-ce que cela veut dire ?
100 100
14% 20%
8.5% – 22.1% 13.3% – 28.9%
On a 95% de chance que la réalité soit dans les ...
Quelle est la meilleure
version ?
1000 1000
14% 20%
La version 2 est meilleure !
12.0% – 16.3% 17.6% – 22.6%
Quelle est la meilleure
version ?
1000 100
14% 20%
Impossible de dire !
12.0% – 16.3% 13.3% – 28.9%
Mon résultat est-il significatif ?
http://www.evanmiller.org/ab-testing/chi-squared.html
Quelle est la meilleure
version ?
1000 100
14% 30%
La version 2 est meilleure !
12.0% – 16.3% 21.9% – 39.6%
Comment dimensionner un A/B test
pour être statistiquement significatif ?
5%
? ?
Quelle taille d’échantillon si souhaitez d...
Comment dimensionner un A/B test
pour être statistiquement significatif ?
5%
? ?
Quelle taille d’échantillon si souhaitez d...
Comment dimensionner un A/B test
pour être statistiquement significatif ?
http://www.evanmiller.org/ab-testing/sample-size....
• Toujours tester les deux versions simultanément. Auprès
d’une population homogène.
• Ne pas tirer des conclusions trop t...
• Q1. Lorsque votre taux de conversion du site Web bondit de 10% à 12%, cela signifie
une hausse de 2% du taux de conversio...
Corrélation vs. Causalité
Prochaines étapes
http://www.inc.com/daniel-kahneman/idea-lab-making-smarter-decisions.html
Annexes
http://www.whymeasurethat.com/2013/09/05/data-driven-web-site-progressive-enhancement/
http://www.kaushik.net/avinash/lean-analytics-cycle-metrics-hypothesis-experiment-act/
Étape 1: déterminer ce qu’il
faut améliorer.
• Peut-être en augmentant votre taux de conversion;
• Ou augmenter le nombre ...
Étape 2. Formuler une
hypothèse.
• Une campagne de marketing
• La refonte d’une application
• Un changement dans la façon ...
Définir le test
• Premièrement: Quelle est votre audience cible ?
• Deuxièmement: Que voulez-vous qu’ils fassent ?
• Troisi...
Mesurer et décider quoi
faire
• 1. Si le test a été un succès, vous êtes un héros.
Trouver la prochaine métrique cruciale ...
Le test a-t-il été un succès ?
Les cohortes
Découvrez le cycle que
suivent vos utilisateurs
Lire une analyse par cohortes
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Nächste SlideShare
Wird geladen in …5
×

Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily

873 Aufrufe

Veröffentlicht am

Implémenter un test A/B est une bonne chose, encore faut-il savoir y déterminer un résultat significatif pour améliorer l'experience utilisateurs. Gilles Barbier explique dans cette vidéo procéder pour qu'un test A/B soit le plus pertinent possible pour votre site web.

La vidéo : https://www.youtube.com/watch?v=Y5mBHBezCUI

At TheFamily, we believe that anyone can become a great entrepreneur. Find more info here: http://www.thefamily.co/

Par Gilles Barbier, Partner chez TheFamily - https://twitter.com/gillesbarbier

Veröffentlicht in: Kleinunternehmen & Unternehmertum
  • Als Erste(r) kommentieren

Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily

  1. 1. Statistics 101
  2. 2. Quelle est la meilleure version ? 100 100 14% 20% Impossible de dire ! Les différences ne sont statistiquement significatives.
  3. 3. Qu’est-ce que cela veut dire ? 100 100 14% 20% 8.5% – 22.1% 13.3% – 28.9% On a 95% de chance que la réalité soit dans les fourchettes suivantes :
  4. 4. Quelle est la meilleure version ? 1000 1000 14% 20% La version 2 est meilleure ! 12.0% – 16.3% 17.6% – 22.6%
  5. 5. Quelle est la meilleure version ? 1000 100 14% 20% Impossible de dire ! 12.0% – 16.3% 13.3% – 28.9%
  6. 6. Mon résultat est-il significatif ? http://www.evanmiller.org/ab-testing/chi-squared.html
  7. 7. Quelle est la meilleure version ? 1000 100 14% 30% La version 2 est meilleure ! 12.0% – 16.3% 21.9% – 39.6%
  8. 8. Comment dimensionner un A/B test pour être statistiquement significatif ? 5% ? ? Quelle taille d’échantillon si souhaitez de valider une différence > 10%? 30 244 (par branche)
  9. 9. Comment dimensionner un A/B test pour être statistiquement significatif ? 5% ? ? Quelle taille d’échantillon si souhaitez de valider une différence > 50%? 1273 (par branche)
  10. 10. Comment dimensionner un A/B test pour être statistiquement significatif ? http://www.evanmiller.org/ab-testing/sample-size.html
  11. 11. • Toujours tester les deux versions simultanément. Auprès d’une population homogène. • Ne pas tirer des conclusions trop tôt. Vérifier que le résultat est statistiquement significatif. • Evitez de surprendre les visiteurs réguliers. Restez homogènes • Privilégiez le deep-testing pour tirer des conclusions sur l’efficacité • Ne laissez pas votre instinct infirmer les résultats des tests. • Itérer, itérer, itérer http://www.optimisation-conversion.com/webanalytics/guide-du-test-ab-jouez-et-gagnez-a-tous-les-coups/ Synthèse sur les tests A/B
  12. 12. • Q1. Lorsque votre taux de conversion du site Web bondit de 10% à 12%, cela signifie une hausse de 2% du taux de conversion ou bien une hausse de 20% du taux de conversion ? • Q2. Pouvez-vous doubler vos ventes en doublant simplement votre budget marketing ? • Q3. Si le taux de conversion de la campagne « A » est de 10% et le taux de conversion campagne « B » est de 20%, est-ce que cela signifie que la campagne « B » est plus performante que la campagne « A » ? • Q4. Le temps moyen passé sur votre site web est de 5 minutes. Cela signifie-t-il que vos visiteurs sont restés en moyenne 5 minutes sur votre site ? Questionnaire
  13. 13. Corrélation vs. Causalité
  14. 14. Prochaines étapes
  15. 15. http://www.inc.com/daniel-kahneman/idea-lab-making-smarter-decisions.html
  16. 16. Annexes
  17. 17. http://www.whymeasurethat.com/2013/09/05/data-driven-web-site-progressive-enhancement/
  18. 18. http://www.kaushik.net/avinash/lean-analytics-cycle-metrics-hypothesis-experiment-act/
  19. 19. Étape 1: déterminer ce qu’il faut améliorer. • Peut-être en augmentant votre taux de conversion; • Ou augmenter le nombre d’utilisateurs qui s’inscrivent; • Ou avoir un plus de partage des contenus; • Ou diminuer le taux de désabonnement de votre service;
  20. 20. Étape 2. Formuler une hypothèse. • Une campagne de marketing • La refonte d’une application • Un changement dans la façon de pricer • Revoir les frais d’expédition selon les achats • Changer la façon d’attirer l’attention • L’utilisation d’une autre plate-forme • Modification les libellés des boutons • Tester une nouvelle fonctionnalité
  21. 21. Définir le test • Premièrement: Quelle est votre audience cible ? • Deuxièmement: Que voulez-vous qu’ils fassent ? • Troisièmement: Pourquoi devraient-ils le faire ? « Cherchez à savoir si [QUI] fera [QUOI] parce que [POURQUOI], suffisamment pour améliorer le KPI ciblé. »
  22. 22. Mesurer et décider quoi faire • 1. Si le test a été un succès, vous êtes un héros. Trouver la prochaine métrique cruciale à tester. • 2. Si le test est un véritable échec, nous devons revoir votre hypothèse. • 3. Si le test déplace la ligne, mais pas assez pour modifier les règles du jeu, vous pouvez exécuter un autre test en modifiant l’hypothèse d’après ce que le test vous a appris
  23. 23. Le test a-t-il été un succès ?
  24. 24. Les cohortes
  25. 25. Découvrez le cycle que suivent vos utilisateurs
  26. 26. Lire une analyse par cohortes

×