1
Richtige Interpretation von Tests
Silvia Grabler, e-dialog
Wien, 24. Februar 2014
Silvia Grabler
Consultant & Teamleitung
Conversion-Optimierung & E-Mail Marketing
bei
Leistungen
 A/B- & multivariates Te...
Über e-dialog
3
3
• gegründet 2003
• 20 angestellte Mitarbeiter
• Märkte: D-A-CH (plus Konzerntöchter)
• Branchen: alle, d...
Wir setzen einen Test auf.
Es sollen folgende Elemente auf der Produktdetailseite
eines Reiseunternehmens getestet werden:...
Variante (pink): 2%
Dezember
Control (rot): 0,6%
November
Machen wir doch einen sequentiellen Test.
Einzelne Varianten wer...
Ok, wir machen einen multivariaten Test.
Ergebnis:
6
Juhu, wir haben einen Testsieger – Variante 4 ist signifikant!
Was hat es mit der „Signifikanz“ auf sich?
Ist ein Ergebnis signifikant, so ist der Unterschied zwischen
der Control und d...
Was gilt es zu beachten?
Je höher die Irrtumswahrscheinlichkeit desto höher die
Wahrscheinlichkeit sich für die falsche Va...
Signifikant ist nicht gleich valide
Je weniger Messwerte vorhanden sind,
desto ungenauer sind die Ergebnisse!
9
49,9% - 75...
Wie hoch muss meine Sample-Größe sein?
Sample-Größe errechnen:
10
https://www.optimizely.de/resources/sample-size-calculat...
Testergebnis 2 Wochen später:
11
Ohh…Variante 4 ist nicht mehr signifikant!
Variante 2 hat dafür ein signifikantes Ergebni...
Wie lange soll der Test laufen?
Testlaufzeit hängt
ab von:
• Anzahl an Varianten
• Anzahl an Visitors
• Höhe der Conversio...
Bei der Testlaufzeit berücksichtigen…
Unterschiedliches Verhalten an Arbeitstagen vs.
Wochenenden, tagsüber vs. Abend,…
Tr...
Achtung vor zu vielen Varianten!
Deutlich größere Stichprobengröße wird benötigt.
Je mehr Varianten desto höher die Fehler...
Umgang mit der Fehlerwahrscheinlichkeit bei MVT
Testvarianten mit Bedacht und Sinnhaftigkeit auswählen
 Testhypothesen bi...
Testing Blindness
16
Call-to-Action Varianten:
B war der Sieger.
• Warum?
Jetzt buchen! Heute buchen!vs.
Der Test bringt keinen Testsieger hervor!
17
Alle Test-Visitors!
Wie sehen die Testergebnisse segmentiert aus?
18
Referral TrafficDirect, Organic, SEA Traffic
führen zu einem Testsieger!
...
Insights durch Segmentierung generieren
Neue vs. wiederkehrende Besucher
Wochentage vs. Wochenenden
Traffic-Kanäle (Medium...
Richtige Ziele definieren
Unterschiedliche Ziele  Unterschiedliche Ergebnisse!
20
Beispiele für Ziele:
Click-through Rate...
Mehrere Tests gleichzeitig durchführbar?
Ja oder nein?
Jein!
• Ja, wenn Tests voneinander unabhängig sind!
• Nein, wenn di...
Take aways
Richtige Ziele definieren
Hypothesen bilden
Parallel statt sequentiell testen
Signifikantes und valides Testerg...
Fragen?
Silvia Grabler
Teamleitung E-Mail Marketing
& Conversion-Optimierung
+43 (0)1 309 09 09 - 11
grabler@e-dialog.at
2...
24Foto: Matthias Hausdorf (MH1.at)
Viel Spaß bei der Interpretation Ihrer Tests!
Und bleiben Sie am Laufenden: www.e-dialo...
Nächste SlideShare
Wird geladen in …5
×

Google Analyitcs Konferenz 2015: Conversion Optimierung - die richtige Interpretation von Tests (Silvia Grabler, e-dialog)

4.048 Aufrufe

Veröffentlicht am

Die Daten eines Tests zu beurteilen bedeutet mehr als auf die Signifikanz-Zahl im Testing-Tool zu sehen. Bei der Interpretation von Tests bleiben häufig wesentliche Einflussfaktoren unberücksichtigt. Man läuft daher schnell Gefahr aufs falsche Pferd zu setzen. Hier erfahren Sie, was Sie bei der Interpretation von Tests beachten müssen.

Veröffentlicht in: Marketing
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
4.048
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
7
Aktionen
Geteilt
0
Downloads
1
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie
  • Beispiel: Die Wahrscheinlichkeit, dass das Ergebnis (Verbesserung oder Verschlechterung) nicht zufällig zustande gekommen ist, liegt bei 5%.

  • Ein Test ist robust, wenn er einige Tage stabil gelaufen ist.
  • Nutzer können unterschiedlich auf Optimierungsmaßnahmen reagieren.
  • Ist die „Click-through-Rate“ als Ziel wirklich das was ich erreichen möchte?
  • Seien Sie sich der steigenden Fehlerwahrscheinlichkeit bei multivariatem Testing bewusst
  • Google Analyitcs Konferenz 2015: Conversion Optimierung - die richtige Interpretation von Tests (Silvia Grabler, e-dialog)

    1. 1. 1 Richtige Interpretation von Tests Silvia Grabler, e-dialog Wien, 24. Februar 2014
    2. 2. Silvia Grabler Consultant & Teamleitung Conversion-Optimierung & E-Mail Marketing bei Leistungen  A/B- & multivariates Testing  Landingpage Erstellung & Optimierung  Remote Usability Tests  E-Mail Marketing Konzeption & Umsetzung von der Tool-Evaluierung bis zum Newsletter-Versand 2 © Online-Marketing-Forum.at / Mag. Michael Kornfeld
    3. 3. Über e-dialog 3 3 • gegründet 2003 • 20 angestellte Mitarbeiter • Märkte: D-A-CH (plus Konzerntöchter) • Branchen: alle, die Geschäft machen Mehr Infos unter: www.e-dialog.at
    4. 4. Wir setzen einen Test auf. Es sollen folgende Elemente auf der Produktdetailseite eines Reiseunternehmens getestet werden: • Call-to-Action: • Vertrauensverstärker: Ohne Stornohinweis vs. mit Stornohinweis Als Ziel wird die Click-through Rate gemessen. 4 Jetzt buchen! Heute buchen!vs.
    5. 5. Variante (pink): 2% Dezember Control (rot): 0,6% November Machen wir doch einen sequentiellen Test. Einzelne Varianten werden im zeitverlauf einzeln nacheinander getestet  Störfaktoren: • Unterschiedliches Verhalten nach Saison,… • Ereignisse, zB Fußball WM, Weihnachten,… • Kampagnen-Einflüsse der Konkurrenz • Unterschiedlicher Traffic • Wetter,… 5 Control (rot): 0,6% Variante (pink): 2% Testvarianten daher zeitgleich gegeneinander testen!
    6. 6. Ok, wir machen einen multivariaten Test. Ergebnis: 6 Juhu, wir haben einen Testsieger – Variante 4 ist signifikant!
    7. 7. Was hat es mit der „Signifikanz“ auf sich? Ist ein Ergebnis signifikant, so ist der Unterschied zwischen der Control und der Variante nicht zufällig zustande gekommen. Dennoch besteht eine Irrtumswahrscheinlichkeit: 7 Irrtumswahrscheinlichkeit Wissenschaftliche Konvention > 5% Nicht signifikant ≤ 5% Signifikant ≤ 1% Sehr signifikant ≤ 0,1% Hoch signifikant
    8. 8. Was gilt es zu beachten? Je höher die Irrtumswahrscheinlichkeit desto höher die Wahrscheinlichkeit sich für die falsche Variante zu entscheiden! Je geringer die Irrtumswahrscheinlichkeit sein soll, desto • mehr Datenmaterial wird benötigt und/oder • größer muss die Veränderung der Messwerte zwischen der Control und Variante sein. 8
    9. 9. Signifikant ist nicht gleich valide Je weniger Messwerte vorhanden sind, desto ungenauer sind die Ergebnisse! 9 49,9% - 75,2% 35,6% - 78,2% 28,8% - 45,6%
    10. 10. Wie hoch muss meine Sample-Größe sein? Sample-Größe errechnen: 10 https://www.optimizely.de/resources/sample-size-calculator?conversion=2&effect=10&significance=95
    11. 11. Testergebnis 2 Wochen später: 11 Ohh…Variante 4 ist nicht mehr signifikant! Variante 2 hat dafür ein signifikantes Ergebnis erreicht!
    12. 12. Wie lange soll der Test laufen? Testlaufzeit hängt ab von: • Anzahl an Varianten • Anzahl an Visitors • Höhe der Conversion- Veränderung zwischen Control und Variante 12 http://www.convert.com/tools/ab-split-multivariate-test-duration-visitor-calculator/
    13. 13. Bei der Testlaufzeit berücksichtigen… Unterschiedliches Verhalten an Arbeitstagen vs. Wochenenden, tagsüber vs. Abend,… Traffic-Querschnitt Buying Cycle 13
    14. 14. Achtung vor zu vielen Varianten! Deutlich größere Stichprobengröße wird benötigt. Je mehr Varianten desto höher die Fehlerwahrscheinlichkeit (Alpha-Fehler-Kumulation). Formel bei einer Irrtumswahrscheinlichkeit von 5%: 14Quelle: http://de.slideshare.net/andreaskorsus/cc13-korsus 9,75% 18,55% 33,66% 45,96% 2 Varianten 4 Varianten 8 Varianten 12 Varianten 5% 1 Variante
    15. 15. Umgang mit der Fehlerwahrscheinlichkeit bei MVT Testvarianten mit Bedacht und Sinnhaftigkeit auswählen  Testhypothesen bilden Fehlerwahrscheinlichkeit reduzieren! Wie? • Stichprobengröße erhöhen • Höheres Vertrauensintervall anstreben = • Erkenntnisse aus multivariaten Tests mit wenigen Varianten verifizieren 15Quelle: http://de.slideshare.net/andreaskorsus/cc13-korsus
    16. 16. Testing Blindness 16 Call-to-Action Varianten: B war der Sieger. • Warum? Jetzt buchen! Heute buchen!vs.
    17. 17. Der Test bringt keinen Testsieger hervor! 17 Alle Test-Visitors!
    18. 18. Wie sehen die Testergebnisse segmentiert aus? 18 Referral TrafficDirect, Organic, SEA Traffic führen zu einem Testsieger! 3,15 2,75 2,41 Beispiel-Daten
    19. 19. Insights durch Segmentierung generieren Neue vs. wiederkehrende Besucher Wochentage vs. Wochenenden Traffic-Kanäle (Medium, Quelle) Region Endgeräte: Desktop, Tablet, Mobile Warenkorbwert … 19
    20. 20. Richtige Ziele definieren Unterschiedliche Ziele  Unterschiedliche Ergebnisse! 20 Beispiele für Ziele: Click-through Rate, Conversion-Rate, Umsatz, DB,…
    21. 21. Mehrere Tests gleichzeitig durchführbar? Ja oder nein? Jein! • Ja, wenn Tests voneinander unabhängig sind! • Nein, wenn die Tests sich gegenseitig beeinflussen können  Verfälscht das Testergebnis! 21 OffSite- Werbung Website/ Startseite Produkt- seite Check-Out Bestellung After-Sales- Service Kategorie- seite OnSite- Werbung Landing- page Warenkorb (Layer) Test 2Test 1
    22. 22. Take aways Richtige Ziele definieren Hypothesen bilden Parallel statt sequentiell testen Signifikantes und valides Testergebnis erreichen Berücksichtigen Sie die Fehlerwahrscheinlichkeit bei multivariatem Testing Segmentieren Sie Ihre Ergebnisse Lassen Sie nur voneinander unabhängige Tests gleichzeitig laufen 22
    23. 23. Fragen? Silvia Grabler Teamleitung E-Mail Marketing & Conversion-Optimierung +43 (0)1 309 09 09 - 11 grabler@e-dialog.at 23 © Online-Marketing-Forum.at / Mag. Michael Kornfeld
    24. 24. 24Foto: Matthias Hausdorf (MH1.at) Viel Spaß bei der Interpretation Ihrer Tests! Und bleiben Sie am Laufenden: www.e-dialog.at/newsletter like us circle us

    ×