Professioneller Testing-Prozess
Silvia Grabler, e-dialog
Google Analytics Konferenz 2016
Wien, 23. Februar 2016
Seite 2
Silvia Grabler
Consultant & Teamleitung
Conversion-Optimierung & E-Mail Marketing
 A/B- & multivariates Testing
...
Seite 3
Worum geht‘s?
Variante A - Vertikal: Variante B - Horizontal:
2 oder mehr Varianten werden auf Basis einer Testhyp...
Seite 4
Warum Conversion-Optimierung?
Erfolgsrate OnSite (auch ohne Relaunch) steigern
 Vorhandenen Traffic effizient nut...
Seite 6
Welche Business Ziele sollen optimiert werden?
Optimierungsbereiche
E-Commerce Optimierung
Engagement Optimierung
...
Seite 7
Richtige Ziele definieren
Unterschiedliche Ziele  Unterschiedliche Ergebnisse
Das Macro Ziel ist die entscheidend...
Seite 8
Können meine Tests eine angemessene
Testdauer erreichen? http://www.convert.com/tools/ab-split-multivariate-test-d...
Seite 9
Testablauf
Ziel(e)
Strategie
Roadmap
AnalyseDaten
Seite 10
Quantitativ & Qualitativ
Webanalyse
Mouse-/Klick-/Eye-Tracking Heatmap
Umfragen
Usability Tests (Remote, User Lab...
Seite 11
Ergänzende und alternative Analyse Methode
Remote Usability Test als
qualitative Analyse Methode:
Verstehen WARUM...
Seite 12
Roadmap erstellen & pflegen
Analyse
Testhypothese und Ziele
definieren
Potential
einschätzen
Status,
Rahmen-
bedi...
Seite 13
Testablauf
Konzeption
Ziele
Strategie
Roadmap
AnalyseDaten
Warum?
Was?
Wie?
Wo?
Wann?
Wer?
Techn. Requirements?
Seite 14
Generierung von Testhypothesen
Eine Darstellung nebeneinander führt zu einer
besseren Sichtbarkeit beider Angebot...
Seite 15
Testing Blindness
B war besser.
Warum?
Immer nur 1 Element in 1 Variante testen!
Jetzt buchen! Heute buchen!vs.
V...
Seite 17
Testablauf
Konzeption
Setup
Ziele
Strategie
Roadmap
AnalyseDaten
Seite 18
Wie funktioniert‘s?
Test-Seite
Testvariante - B
Testing-Tool Code Snippet
Variante A - Vertikal:
Einmaliger Einba...
Seite 19
Testablauf
Konzeption
Setup
Ziele
Strategie
Roadmap
Analyse
Monitoring
Daten
• Keine Durchführung von Änderungen
...
Seite 20
Dateninterpretation: Signifikanz ≠ valide!
Je weniger Messwerte vorhanden sind, desto ungenauer sind die Ergebnis...
Seite 22
Testablauf
Konzeption
Setup
Ziele
Strategie
Roadmap
Analyse
MonitoringAuswertung
Daten
Seite 23
Warum ist ein Reporting wichtig?
• Überlegungen, Learnings, Schwierigkeiten, etc. nicht im
Tool ersichtlich sind
...
Seite 24
Testergebnis
Seite 27
Insights durch Segmentierung generieren
• Nutzer können unterschiedlich auf
Optimierungsmaßnahmen reagieren.
• Ne...
Seite 28
Testablauf
Konzeption
Setup
Ziele
Strategie
Roadmap
Analyse
MonitoringAuswertung
Daten
Fortlaufender Prozess zur ...
Seite 29
Der Start ins Testing…
- je nach Unternehmenskultur anders -
• Laufender Austausch mit
Projektteam & Stakeholdern...
Seite 30
Fragen? Display
Advertising
www.e-dialog.at
+43-1-309 09 09
Guten Start ins
Testing!
www.e-dialog.at/newsletter
Seite 32
Nächste SlideShare
Wird geladen in …5
×

Google Analytics Konferenz 2016: Professioneller Prozess von Analyse über Konzept bis zu Reporting (Silvia Grabler, e-dialog)

6.211 Aufrufe

Veröffentlicht am

Wie ein professioneller Testing-Prozess von der Analyse über die Konzeption bis zur Interpretation aufgesetzt und inhouse etabliert wird und welche Anforderungen und Herausforderungen auf Sie zukommen.

Veröffentlicht in: Daten & Analysen
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
6.211
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
28
Aktionen
Geteilt
0
Downloads
16
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie
  • Wenn man mit Testing beginnen möchte, muss man sich zunächst fragen, auf welches Ziel man optimieren will.
  • Technische Machbarkeit prüfen
  • Google Analytics Konferenz 2016: Professioneller Prozess von Analyse über Konzept bis zu Reporting (Silvia Grabler, e-dialog)

    1. 1. Professioneller Testing-Prozess Silvia Grabler, e-dialog Google Analytics Konferenz 2016 Wien, 23. Februar 2016
    2. 2. Seite 2 Silvia Grabler Consultant & Teamleitung Conversion-Optimierung & E-Mail Marketing  A/B- & multivariates Testing  Landingpage Erstellung  Remote Usability Tests  E-Mail Marketing Konzeption & Umsetzung von der Tool-Evaluierung bis zum Newsletter-Versand
    3. 3. Seite 3 Worum geht‘s? Variante A - Vertikal: Variante B - Horizontal: 2 oder mehr Varianten werden auf Basis einer Testhypothese gegeneinander getestet.
    4. 4. Seite 4 Warum Conversion-Optimierung? Erfolgsrate OnSite (auch ohne Relaunch) steigern  Vorhandenen Traffic effizient nutzen  Hypothesen verifizieren/falsifizieren  Prüfung welche Elemente die Conversions steigern ALLEINE der User entscheidet über den Website-Erfolg  Daten werden anhand echtem Userverhalten erhoben  Echte Situationsumgebung
    5. 5. Seite 6 Welche Business Ziele sollen optimiert werden? Optimierungsbereiche E-Commerce Optimierung Engagement Optimierung Lead-Generierung Optimierung Self-Service Optimierung Optimierung von Confirmation Pages Mögliche Ziele • Steigerung der Kauf-Rate • Umsatzsteigerung • Nutzung der Social Media Funktionen • Click-through,… • Steigerung der Newsletter Abonnenten • Steigerung der Kontakt-Anfragen,… • Erhöhung der Nutzung von zB FAQs,… • Social Engagement • Weitere Aktionen durchführen,…. 1. Ziele definieren 2. Ziele priorisieren 3. User Journey festhalten
    6. 6. Seite 7 Richtige Ziele definieren Unterschiedliche Ziele  Unterschiedliche Ergebnisse Das Macro Ziel ist die entscheidende Messgröße.
    7. 7. Seite 8 Können meine Tests eine angemessene Testdauer erreichen? http://www.convert.com/tools/ab-split-multivariate-test-duration-visitor-calculator/ Testdauer hängt ab von: • Anzahl an Conversions • Anzahl an Varianten • Höhe der Conversion- Veränderung zwischen Control und Variante
    8. 8. Seite 9 Testablauf Ziel(e) Strategie Roadmap AnalyseDaten
    9. 9. Seite 10 Quantitativ & Qualitativ Webanalyse Mouse-/Klick-/Eye-Tracking Heatmap Umfragen Usability Tests (Remote, User Lab) Feedback aus Kundengesprächen (zB. Call-Center, Verkauf,…) 1. Daten sammeln 2. Daten analysieren 3. Optimierungsbereiche aufdecken 4. Testhypothesen generieren … Mehr Analysen liefern mehr Erkenntnisse. Funnel-Analyse Content-Analyse Verhaltensfluss Analysen UmfragenTraffic Analyse Heatmaps
    10. 10. Seite 11 Ergänzende und alternative Analyse Methode Remote Usability Test als qualitative Analyse Methode: Verstehen WARUM der User eine bestimmte Aktion nicht ausführt. • Methodik zur Generierung weiterer Testhypothesen • Alternative für Sites mit zu wenig Conversions
    11. 11. Seite 12 Roadmap erstellen & pflegen Analyse Testhypothese und Ziele definieren Potential einschätzen Status, Rahmen- bedingungen, Outcome festhalten
    12. 12. Seite 13 Testablauf Konzeption Ziele Strategie Roadmap AnalyseDaten Warum? Was? Wie? Wo? Wann? Wer? Techn. Requirements?
    13. 13. Seite 14 Generierung von Testhypothesen Eine Darstellung nebeneinander führt zu einer besseren Sichtbarkeit beider Angebot bietet eine bessere Vergleichsmöglichkeit beider Angebote für den User. Das bietet dem User eine bessere Orientierung und führt daher zu einer erhöhten Kauf-Rate. Test-Hypothese: Eine Darstellung des Angebotes untereinander folgt dem natürlichen Lesefluss (links nach rechts, nächste Zeile) und verschafft dem User eine besseren Überblick über das Angebot. Dies führt zu einer erhöhten Kauf-Rate. Test-Hypothese: Variante A - Vertikal: Variante B - Horizontal: Test-Hypothesen geben folgende Auskunft: 1. Was 2. führt warum 3. zu welchem Ziel.
    14. 14. Seite 15 Testing Blindness B war besser. Warum? Immer nur 1 Element in 1 Variante testen! Jetzt buchen! Heute buchen!vs. Variante A Variante B
    15. 15. Seite 17 Testablauf Konzeption Setup Ziele Strategie Roadmap AnalyseDaten
    16. 16. Seite 18 Wie funktioniert‘s? Test-Seite Testvariante - B Testing-Tool Code Snippet Variante A - Vertikal: Einmaliger Einbau des Basis-Codes. Kein CMS nötig. Bei komplexen Tests ggf. individuelle Code-Erweiterung erforderlich. Von Tool zu Tool anders - bei zB. VWO & Optimizely so: • Zufall welche Variante User sieht • Lädt zu ersetzenden Inhalt nach • Tauscht im Browser des Users die Testelemente aus (in Millisekunden)
    17. 17. Seite 19 Testablauf Konzeption Setup Ziele Strategie Roadmap Analyse Monitoring Daten • Keine Durchführung von Änderungen auf den getesteten Seiten • Original-Page und Traffic (Kampagnen) stabil halten
    18. 18. Seite 20 Dateninterpretation: Signifikanz ≠ valide! Je weniger Messwerte vorhanden sind, desto ungenauer sind die Ergebnisse.
    19. 19. Seite 22 Testablauf Konzeption Setup Ziele Strategie Roadmap Analyse MonitoringAuswertung Daten
    20. 20. Seite 23 Warum ist ein Reporting wichtig? • Überlegungen, Learnings, Schwierigkeiten, etc. nicht im Tool ersichtlich sind • In-house über den Test informiert werden soll • Oft sind keine Screenshots der Testseite im Tool gespeichert  Bei einer Veränderung der Website verändert sich die Vorschau mit.
    21. 21. Seite 24 Testergebnis
    22. 22. Seite 27 Insights durch Segmentierung generieren • Nutzer können unterschiedlich auf Optimierungsmaßnahmen reagieren. • Neue vs. wiederkehrende Besucher • Wochentage vs. Wochenenden • Traffic-Kanäle (Medium, Quelle) • Region • Endgeräte: Desktop, Tablet, Mobile • Warenkorbwert,… Varianten für bestimmte User-Segmente ausspielen > Personalisierung
    23. 23. Seite 28 Testablauf Konzeption Setup Ziele Strategie Roadmap Analyse MonitoringAuswertung Daten Fortlaufender Prozess zur Steigerung der Performance.
    24. 24. Seite 29 Der Start ins Testing… - je nach Unternehmenskultur anders - • Laufender Austausch mit Projektteam & Stakeholdern • Laufende Analysen • Roadmap-Pflege • Laufendes Testing • Analysen durchführen • Testhypothesen sammeln & priorisieren Ziel(e) Stakeholder ins Boot holen Analyse & Roadmap Testingprozess starten Optimierungs- prozess festlegen • Analyse ob Testing • Ziele definieren & priorisieren • User Flow festhalten • Wozu Conversion-Optimierung • Inputs anderer Abteilungen einholen • Kommunikation für Abstimmungen & Austausch festlegen • Umgang mit Einschränkungen & Zielkonflikten • Projektteam definieren • Verantwortlichkeiten definieren • Stakeholder ermitteln • Einschränkungen ermitteln • Testing Tool anhand definierter Kriterien auswählen • Analysen • Konzeption • Setup • Monitoring • Reporting & Interpretation Leben!
    25. 25. Seite 30 Fragen? Display Advertising
    26. 26. www.e-dialog.at +43-1-309 09 09 Guten Start ins Testing! www.e-dialog.at/newsletter
    27. 27. Seite 32

    ×