#optex2015
Management & Priorisierung
Der Testing Alltag – von der Idee bis zur Auswertung
Jan Mikulica
UX Research & User...
#optex2015
Hi. Ich bin Jan,
UX Research &
User Insights Manager @
#optex2015
2003 gegründet
Seit 2006 Teil der Tomorrow Focus AG
Teams über EU verteilt
Breite Produktpalette
Über 180 M Pag...
#optex2015
Unser Test-Bordpersonal
#optex2015
AB@HC
Research Manager Web Analyst Web Analyst Data Scientist
#optex2015
AB@HC
Research Manager Web Analyst Web Analyst Data Scientist
#optex2015
AB@HC
Research Manager Web Analyst Web Analyst Data Scientist
VS
Center of Excellence
#optex2015
Viele Teams = Viele Skilllevel
#optex2015
Zahlen & Menschen
Schweizer Parlamentswahlen
#optex2015
Zahlen & Menschen
#optex2015
Zahlen & Menschen
Brian Haemorrhage
Jane Superbrain
#optex2015
Zahlen & Menschen
Brian Haemorrhage
Jane Superbrain
#optex2015
Infrastruktur & Consulting
#optex2015
Hypothesen & Ziele
„Ich glaube, den Header zu
ndern macht meine Seite
besser“
• blau anmalen wird den Revenue e...
#optex2015
Evolution vs. Revolution
#optex2015
Simultanes Testen
• Experimente auf derselben Seite
• Experimente im selben Funnel / Flow
• Multivariate Experi...
#optex2015
Simultanes Testen
• Experimente auf derselben Seite
• Experimente im selben Funnel / Flow
• Multivariate Experi...
#optex2015
Statistik Basics
#optex2015
Statistik Basics
Alphafehler Kummulierung  𝑝 =
α
𝑛
#optex2015
Nicht signifikant – komplett einpacken?
Testen
Auswerten
(Re)Priorisieren
Design & Dev
#optex2015
Inspiration
#optex2015
Inspirationsquellen
#optex2015
Inspirationsquellen
random dude
random
Biergarten
#optex2015
Inspirationsquellen
#optex2015
Inspirationsquellen
#optex2015
Inspirationsquellen
#optex2015
Inspirationsquellen
#optex2015
Inspirationsquellen
#optex2015
„Heute nehme ich den
klassischen multivariaten“
#optex2015
Testtemplate
#optex2015
Testtemplate
#optex2015
Testtemplate
#optex2015
Priorisierung
#optex2015
Priorisierung
#optex2015
60 second business case
Koordination Kreativität Entwicklung Rollout
Strategie?
Revenue
impact
CX Value Kostens...
#optex2015
Es gibt für alles eine App
#optex2015
Berechnung eines Scores
#optex2015
Berechnung eines Scores
#optex2015
Überwachung von Testaktivitäten
#optex2015
Auswertung
#optex2015
…aber man sieht eine klare Tendenz…
Nicht Signifikant?
#optex2015
…aber man sieht eine klare Tendenz…
Nicht Signifikant?
#optex2015
Optimizely Results Page - Advanced
#optex2015
Optimizely Results Page - Advanced
#optex2015
Kommunikation
#optex2015
Archiv
#optex2015
Rundmail
#optex2015
• Kenne Deine Goals, Probleme und Hypothesen
• „Großes“ Testen ist erlaubt
• Arbeite an Deinem Backlog & Priori...
#optex2015
DANKESCHÖN!
jan.mikulica@holidaycheck.com
Nächste SlideShare
Wird geladen in …5
×

Management & Priorisierung von Online-Tests bei Holidaycheck

1.518 Aufrufe

Veröffentlicht am

Diese Präsentation wurde auf der Optimizely Experience München am 15.10.2015 von Jan Mikulica (Holidaycheck) gehalten. Sie werden in dieser Präsentation lernen:

- Wie Sie das richtige Optimierungsteam für Ihr Unternehmen aufstellen
- Wie Sie gewinnbringende Hypothesen für A/B Tests entwickeln
- Wie Sie Ideen für die Online-Optimierung priorisieren
- Wie Sie A/B Tests mit Optimizely auswerten
- Wie Sie Testergebnisse dokumentieren und kommunizieren

Mehr Fallbeispiele und Best Practices rund um die Themen Testing, Optimierung und Personalisierung finden Sie unter:

https://blog.optimizely.de/category/fallstudien/

Sie können sich hier einen kostenlosen Optimizely Account erstellen:

https://www.optimizely.com/de/

Veröffentlicht in: Marketing
0 Kommentare
5 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.518
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
3
Aktionen
Geteilt
0
Downloads
16
Kommentare
0
Gefällt mir
5
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Management & Priorisierung von Online-Tests bei Holidaycheck

  1. 1. #optex2015 Management & Priorisierung Der Testing Alltag – von der Idee bis zur Auswertung Jan Mikulica UX Research & User Insights Manager @HolidayCheck jan.mikulica@holidaycheck.com
  2. 2. #optex2015 Hi. Ich bin Jan, UX Research & User Insights Manager @
  3. 3. #optex2015 2003 gegründet Seit 2006 Teil der Tomorrow Focus AG Teams über EU verteilt Breite Produktpalette Über 180 M Pageviews / 20 M visits pro Monat
  4. 4. #optex2015 Unser Test-Bordpersonal
  5. 5. #optex2015 AB@HC Research Manager Web Analyst Web Analyst Data Scientist
  6. 6. #optex2015 AB@HC Research Manager Web Analyst Web Analyst Data Scientist
  7. 7. #optex2015 AB@HC Research Manager Web Analyst Web Analyst Data Scientist VS Center of Excellence
  8. 8. #optex2015 Viele Teams = Viele Skilllevel
  9. 9. #optex2015 Zahlen & Menschen Schweizer Parlamentswahlen
  10. 10. #optex2015 Zahlen & Menschen
  11. 11. #optex2015 Zahlen & Menschen Brian Haemorrhage Jane Superbrain
  12. 12. #optex2015 Zahlen & Menschen Brian Haemorrhage Jane Superbrain
  13. 13. #optex2015 Infrastruktur & Consulting
  14. 14. #optex2015 Hypothesen & Ziele „Ich glaube, den Header zu ndern macht meine Seite besser“ • blau anmalen wird den Revenue erhöhen? • blau anmalen wird den Klick auf „jetzt bewerten“ erhöhen? • rot anmalen wird den Revenue erhöhen? • entfernen wird den Klick auf „jetzt bewerten“ erhöhen?
  15. 15. #optex2015 Evolution vs. Revolution
  16. 16. #optex2015 Simultanes Testen • Experimente auf derselben Seite • Experimente im selben Funnel / Flow • Multivariate Experimente
  17. 17. #optex2015 Simultanes Testen • Experimente auf derselben Seite • Experimente im selben Funnel / Flow • Multivariate Experimente
  18. 18. #optex2015 Statistik Basics
  19. 19. #optex2015 Statistik Basics Alphafehler Kummulierung  𝑝 = α 𝑛
  20. 20. #optex2015 Nicht signifikant – komplett einpacken? Testen Auswerten (Re)Priorisieren Design & Dev
  21. 21. #optex2015 Inspiration
  22. 22. #optex2015 Inspirationsquellen
  23. 23. #optex2015 Inspirationsquellen random dude random Biergarten
  24. 24. #optex2015 Inspirationsquellen
  25. 25. #optex2015 Inspirationsquellen
  26. 26. #optex2015 Inspirationsquellen
  27. 27. #optex2015 Inspirationsquellen
  28. 28. #optex2015 Inspirationsquellen
  29. 29. #optex2015 „Heute nehme ich den klassischen multivariaten“
  30. 30. #optex2015 Testtemplate
  31. 31. #optex2015 Testtemplate
  32. 32. #optex2015 Testtemplate
  33. 33. #optex2015 Priorisierung
  34. 34. #optex2015 Priorisierung
  35. 35. #optex2015 60 second business case Koordination Kreativität Entwicklung Rollout Strategie? Revenue impact CX Value Kostensenkung PM Prio Aufwand Business Value Gewichtung der Faktoren  Berechnung eines Scores
  36. 36. #optex2015 Es gibt für alles eine App
  37. 37. #optex2015 Berechnung eines Scores
  38. 38. #optex2015 Berechnung eines Scores
  39. 39. #optex2015 Überwachung von Testaktivitäten
  40. 40. #optex2015 Auswertung
  41. 41. #optex2015 …aber man sieht eine klare Tendenz… Nicht Signifikant?
  42. 42. #optex2015 …aber man sieht eine klare Tendenz… Nicht Signifikant?
  43. 43. #optex2015 Optimizely Results Page - Advanced
  44. 44. #optex2015 Optimizely Results Page - Advanced
  45. 45. #optex2015 Kommunikation
  46. 46. #optex2015 Archiv
  47. 47. #optex2015 Rundmail
  48. 48. #optex2015 • Kenne Deine Goals, Probleme und Hypothesen • „Großes“ Testen ist erlaubt • Arbeite an Deinem Backlog & Priorisierungsmodell • Segmentiere Deinen Traffic • Keine Angst vor gleichzeitigem Testen • Nutze testfreie Zeit • 100%ige Sicherheit gibt es nicht Key Takeaways
  49. 49. #optex2015 DANKESCHÖN! jan.mikulica@holidaycheck.com

×