A/B Testing und Mehr
PROGRAMM
1. Warum A/B Testing?
!
2. Ideen für Tests finden
!
3. Die Zukunft der Optimierung
MARIUS KREMEYER
Senior Account Executive
marius@optimizely.com
Dan Pete
2006:

Dan Siroker und Pete Koomen

— Product Manager bei Google
2008: 

Dan — Obama Campaign	

2008 - 2010: 

Ca...
1. Warum A/B Testing?
92:1
92$ werden für Trafficakquise ausgegeben, nur 1$ für die Optimierung
* IBM TeaLeaf, 2012
1994
Seit wann testet Amazon seine Webseite?
10 - 20
Quelle: http://meta.wikimedia.org/wiki/Fundraising_2012/report
Wie viele A/B Tests macht Wikipedia pro Tag?
RICHARD FEYNMAN
“During the Middle Ages there were all kinds of crazy ideas, such as
that a piece of rhinoceros horn would...
RICHARD FEYNMAN
“But even today I meet lots of people who sooner or
later get me into a conversation about UFOs, or
astrol...
JOHN OHRINGER - CEO SHUTTERSTOCK
“Nothing goes live on Shutterstock without Testing.”
!
JEFF BEZOS - CEO AMAZON
“Experiments are by their very nature prone to failure.
But a few big successes compensate for dozens and
dozens of things...
ALLES HINTERFRAGEN!
BEISPIEL 1: CHROME INDUSTRIES
!
!
!
Performen Bilder oder Videos auf Kategorieseiten besser?
+ 0,2% Conversions
Obwohl Chrome Industries 0,2% Uplift erzielte, so war dies allerdings
zu wenig, um eine Investition in Videos für jede Kat...
BEISPIEL 2: SIM CITY
!
!
!
Wie erhöhen wir die Anzahl der Vorbestellungen für das Spiel Sim
City?
+ 43% Conversions
Electronic Arts fand durch einen A/B Test heraus, dass Besucher, die
das Spiel Sim City vorbestellen wollten, nicht durch ...
BEISPIEL 3: MAGINE
!
!
!
Wie können wir die Anzahl der Abonnenten erhöhen?
- 2% Klicks
+ 9% Abonnenten
Magine fand durch diesen Test heraus, dass die Variante mit mehr Infos
über die nächsten Schritte zwar weniger Klicks, daf...
BEISPIEL 4: HOME24
!
!
!
Wie können wir die Nutzung der Suche und somit Bestellungen
steigern?
+ 9% Suchnutzung
+ 5% Bestellungen pro Session
Home24 fand durch diesen Test von 3 Varianten des Headers heraus,
dass eine gestraffte Variante mit hellen Farben zu geste...
2. Ideen für Tests finden
OPTIMIERUNGSZYKLUS
Ergebnisse!
Analyse!
Hypothesen!
Priorisierung!
A/BTest!
ABER WO FANGE ICH AN?
ANALYTICS
ANALYTICS
Visits
Sign-Ups
$ per!
Recipient
Visitors!
per Day
Email $$
ANALYTICS
Visits
Sign-Ups
$ per!
Recipient
Visitors!
per Day
Email $$
TICKETS / FRAGEN
NUTZER TESTS / USER-TESTS
HEATMAPS / EYETRACKING
Quelle: ClickTale, Eyequant
WETTBEWERBERANALYSE
1. Welche Webseiten nutzen Sie gerne?
!
2. Was sind Ihre direkten Wettbewerber?
!
3. Was funktioniert ...
3. Die Zukunft der Optimierung
MOBILE EATS THE WORLD
Quelle: ComScore
SCHLECHTE MOBILE-ERFAHRUNGEN
Quelle: Smashingmagazine, 2013
It’s about people, not devices
Optimizely ist für A/B
Testing von Webseiten…
!
…UND AUCH FÜR:
• Personalisierungskampagnen
• Segmentierung von Besuchergruppen
• Agile Entwicklung & Deployments
• Optimi...
PERSONALISIERUNG MIT COOKIES
HYPOTHESE
Wenn: Wir Personen, die sich noch kein Konto
erstellt haben, jeweils eine Person des
anderen Geschlechts zeigen
...
ORIGINAL!
!
VARIANTE IN OPTIMIZELY ANLEGEN!
!
AUDIENCE IN OPTIMIZELY ANLEGEN!
!
PERSONALISIERUNG MIT GEO-LOCATION
Wenn: Wir die Ansprache auf die Stadt beziehen
Dann:! Werden mehr Besucher einen Termin
bei der Parfümerie in ihrer Nähe b...
ORIGINAL!
!
AUDIENCE ANLEGEN - LOCATION!
!
VARIANTE - STADTSPEZIFISCH!
!
Vs.
VERGLEICH - ORIGINAL & VARIANTE B!
!
OPTIMIERUNG MOBILER WEBSEITEN
Wenn: Shop Besucher Social Log-In
beim Check-Out nutzen können
Dann: Werden mehr Besucher den Kauf
abschließen
Weil:! Nutz...
- Log-in Wall
!
- Kein “Social Log-in”
AUF DEM DESKTOP
- - Keine Log-in Wall
!
- - “Social Log-in”
möglich
TESTIDEE
!
1. Shoppen ohne Registrierung erlauben
2. Einloggen mit Facebook ermöglichen
3. Warum sollte ich mich registrie...
Welcher Check-Out wird
besser konvertieren?
OPTIMIERUNG MOBILER APPS
BEISPIEL: FRENCH GIRLS
1 Million Downloads
Problem: User Retention
Ziel: Onboarding optimieren
AKTIVIERUNG NEUER USER
Aktivierung bei French Girls:
!
Selfie aufnehmen!
Selfie zeichnen!
!
Activation Rate: 25%
+ 100% Uplift in Nutzeraktivierung
CROSS-CHANNEL OPTIMIERUNG
STEFAN KAUFT SCHUHE
• Shoppt in der Zalando App im Zug auf
dem Weg nach hause, wird dabei aber
unterbrochen
• Sitzt auf de...
TANJA BUCHT EINEN FLUG
• Kriegt eine Einladung zum Geburtstag auf
der Facebook App – wechselt in die
Lufthansa App und sch...
SZENARIO
• Kunde loggt sich bei mir ein, z.B. via Social Log-In
• Analytics- und Optimierungsplattform nutzt Universal Use...
WIE FUNKTIONIERT DAS GENAU?
• Customer loggt sich via Facebook ein.
• Tracking Call zur Analytics- und Optimierungsplattfo...
BEISPIEL: HIPMUNK
Letzte Suche als
Default, wenn
man Endgerät
wechselt
BEISPIEL: GILT
Abbruchrate
durch Push-
Notifications
senken
Data
Sie Ihre Besucher
Action
LEARNINGS
1. A/B Testing - Alles Hinterfragen!
!
2. Mit Sinn und Verstand Testen
!
3. A/B Testing für Web ist gut, aber ni...
Vielen Dank
marius@optimizely.com
@OPTIMIZELY
Die Zukunft der Optimierung und Personalisierung mit Optimizely
Die Zukunft der Optimierung und Personalisierung mit Optimizely
Die Zukunft der Optimierung und Personalisierung mit Optimizely
Die Zukunft der Optimierung und Personalisierung mit Optimizely
Die Zukunft der Optimierung und Personalisierung mit Optimizely
Die Zukunft der Optimierung und Personalisierung mit Optimizely
Die Zukunft der Optimierung und Personalisierung mit Optimizely
Die Zukunft der Optimierung und Personalisierung mit Optimizely
Nächste SlideShare
Wird geladen in …5
×

Die Zukunft der Optimierung und Personalisierung mit Optimizely

1.041 Aufrufe

Veröffentlicht am

Präsentation des Events "CROissants mit Optimizely" in Berlin.

Lernen Sie in dieser Präsentation:

- [Fallbeispiele] Wie andere Unternehmen Erfolge mit A/B Testing erreichen
- Wie Sie Nutzererfahrungen durch A/B Tests personalisieren
- Wie Sie mit Optimizely mobile Webseiten optimieren können
- Wie Sie mobile Apps testen & optimieren können
- Wie Sie neuerdings auch Cross-Channel Erfahrungen dank Optimizely verbessern

Falls Sie Optimizely noch nicht nutzen, dann können Sie kostenlos einen Account erstellen: https://www.optimizely.de/

Für Fallbeispiele und Inspiration besuchen Sie am besten unser Blog:

http://blog.optimizely.de/

Veröffentlicht in: Marketing
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.041
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
6
Aktionen
Geteilt
0
Downloads
13
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Die Zukunft der Optimierung und Personalisierung mit Optimizely

  1. 1. A/B Testing und Mehr
  2. 2. PROGRAMM 1. Warum A/B Testing? ! 2. Ideen für Tests finden ! 3. Die Zukunft der Optimierung
  3. 3. MARIUS KREMEYER Senior Account Executive marius@optimizely.com
  4. 4. Dan Pete 2006:
 Dan Siroker und Pete Koomen
 — Product Manager bei Google 2008: 
 Dan — Obama Campaign 2008 - 2010: 
 Carrotsticks, Spreadly, 
 undY Combinator. 2010: Gründung von Optimizely 2012 (Okt.): 100,000th Experiment, over 
 1 Billion pages. #1 Website Optimization Platform 2013: $28M für Internationalisierung 100K $28M Unsere Geschichte 9000 Glückliche Kunden $57M 2014: $57M für weitere Expansion
  5. 5. 1. Warum A/B Testing?
  6. 6. 92:1 92$ werden für Trafficakquise ausgegeben, nur 1$ für die Optimierung * IBM TeaLeaf, 2012
  7. 7. 1994 Seit wann testet Amazon seine Webseite?
  8. 8. 10 - 20 Quelle: http://meta.wikimedia.org/wiki/Fundraising_2012/report Wie viele A/B Tests macht Wikipedia pro Tag?
  9. 9. RICHARD FEYNMAN “During the Middle Ages there were all kinds of crazy ideas, such as that a piece of rhinoceros horn would increase potency. Then a method was discovered for separating ideas […] And it developed very well, so that we are now in a scientific age.”
  10. 10. RICHARD FEYNMAN “But even today I meet lots of people who sooner or later get me into a conversation about UFOs, or astrology, […] and so forth. ! And I’ve concluded that it’s not a scientific world.”
  11. 11. JOHN OHRINGER - CEO SHUTTERSTOCK
  12. 12. “Nothing goes live on Shutterstock without Testing.” !
  13. 13. JEFF BEZOS - CEO AMAZON
  14. 14. “Experiments are by their very nature prone to failure. But a few big successes compensate for dozens and dozens of things that didn’t work.” !
  15. 15. ALLES HINTERFRAGEN!
  16. 16. BEISPIEL 1: CHROME INDUSTRIES ! ! ! Performen Bilder oder Videos auf Kategorieseiten besser?
  17. 17. + 0,2% Conversions
  18. 18. Obwohl Chrome Industries 0,2% Uplift erzielte, so war dies allerdings zu wenig, um eine Investition in Videos für jede Kategorieseite zu rechtfertigen. Videos sind um einiges teurer als Produktbilder. A/B Tests halfen dem Team von Chrome Industries dabei Geld zu sparen. ! ERGEBNIS
  19. 19. BEISPIEL 2: SIM CITY ! ! ! Wie erhöhen wir die Anzahl der Vorbestellungen für das Spiel Sim City?
  20. 20. + 43% Conversions
  21. 21. Electronic Arts fand durch einen A/B Test heraus, dass Besucher, die das Spiel Sim City vorbestellen wollten, nicht durch einen 20$ Discount auf den nächsten Einkauf motiviert wurden. Alles was sie wollten, war das Spiel so schnell wie möglich zu haben. Daher funktionierte die Variante ohne Banner so viel besser als das Original. ! ERGEBNIS
  22. 22. BEISPIEL 3: MAGINE ! ! ! Wie können wir die Anzahl der Abonnenten erhöhen?
  23. 23. - 2% Klicks + 9% Abonnenten
  24. 24. Magine fand durch diesen Test heraus, dass die Variante mit mehr Infos über die nächsten Schritte zwar weniger Klicks, dafür aber mehr Abonnenten erzielte. Besucher waren sich besser bewusst, was sie erwarten würde und dadurch entschieden sich mehr, den Anmeldeprozess abzuschließen. ! ERGEBNIS
  25. 25. BEISPIEL 4: HOME24 ! ! ! Wie können wir die Nutzung der Suche und somit Bestellungen steigern?
  26. 26. + 9% Suchnutzung + 5% Bestellungen pro Session
  27. 27. Home24 fand durch diesen Test von 3 Varianten des Headers heraus, dass eine gestraffte Variante mit hellen Farben zu gesteigerter Nutzung der Suche führte. Dies hatte außerdem einen Uplift an Bestellungen pro Session zur Folge. ! ERGEBNIS
  28. 28. 2. Ideen für Tests finden
  29. 29. OPTIMIERUNGSZYKLUS Ergebnisse! Analyse! Hypothesen! Priorisierung! A/BTest!
  30. 30. ABER WO FANGE ICH AN?
  31. 31. ANALYTICS
  32. 32. ANALYTICS Visits Sign-Ups $ per! Recipient Visitors! per Day Email $$
  33. 33. ANALYTICS Visits Sign-Ups $ per! Recipient Visitors! per Day Email $$
  34. 34. TICKETS / FRAGEN
  35. 35. NUTZER TESTS / USER-TESTS
  36. 36. HEATMAPS / EYETRACKING Quelle: ClickTale, Eyequant
  37. 37. WETTBEWERBERANALYSE 1. Welche Webseiten nutzen Sie gerne? ! 2. Was sind Ihre direkten Wettbewerber? ! 3. Was funktioniert in anderen Branchen / Kategorien besonders gut?
  38. 38. 3. Die Zukunft der Optimierung
  39. 39. MOBILE EATS THE WORLD Quelle: ComScore
  40. 40. SCHLECHTE MOBILE-ERFAHRUNGEN Quelle: Smashingmagazine, 2013
  41. 41. It’s about people, not devices
  42. 42. Optimizely ist für A/B Testing von Webseiten… !
  43. 43. …UND AUCH FÜR: • Personalisierungskampagnen • Segmentierung von Besuchergruppen • Agile Entwicklung & Deployments • Optimierung mobiler Webseiten • Optimierung von Apps in iOS & Android • Cross-Channel Optimierung
  44. 44. PERSONALISIERUNG MIT COOKIES
  45. 45. HYPOTHESE Wenn: Wir Personen, die sich noch kein Konto erstellt haben, jeweils eine Person des anderen Geschlechts zeigen Dann:!! Erhöhen wir die Anzahl der Anmeldungen Weil:! ! Nutzer fühlen sich persönlich angesprochen.
  46. 46. ORIGINAL! !
  47. 47. VARIANTE IN OPTIMIZELY ANLEGEN! !
  48. 48. AUDIENCE IN OPTIMIZELY ANLEGEN! !
  49. 49. PERSONALISIERUNG MIT GEO-LOCATION
  50. 50. Wenn: Wir die Ansprache auf die Stadt beziehen Dann:! Werden mehr Besucher einen Termin bei der Parfümerie in ihrer Nähe buchen Weil: Nutzer sich persönlich angesprochen fühlen HYPOTHESE
  51. 51. ORIGINAL! !
  52. 52. AUDIENCE ANLEGEN - LOCATION! !
  53. 53. VARIANTE - STADTSPEZIFISCH! !
  54. 54. Vs. VERGLEICH - ORIGINAL & VARIANTE B! !
  55. 55. OPTIMIERUNG MOBILER WEBSEITEN
  56. 56. Wenn: Shop Besucher Social Log-In beim Check-Out nutzen können Dann: Werden mehr Besucher den Kauf abschließen Weil:! Nutzer Bequemlichkeit schätzen und keinen zusätzlichen Account anlegen müssen HYPOTHESE
  57. 57. - Log-in Wall ! - Kein “Social Log-in”
  58. 58. AUF DEM DESKTOP - - Keine Log-in Wall ! - - “Social Log-in” möglich
  59. 59. TESTIDEE ! 1. Shoppen ohne Registrierung erlauben 2. Einloggen mit Facebook ermöglichen 3. Warum sollte ich mich registrieren?
  60. 60. Welcher Check-Out wird besser konvertieren?
  61. 61. OPTIMIERUNG MOBILER APPS
  62. 62. BEISPIEL: FRENCH GIRLS 1 Million Downloads Problem: User Retention Ziel: Onboarding optimieren
  63. 63. AKTIVIERUNG NEUER USER Aktivierung bei French Girls: ! Selfie aufnehmen! Selfie zeichnen! ! Activation Rate: 25%
  64. 64. + 100% Uplift in Nutzeraktivierung
  65. 65. CROSS-CHANNEL OPTIMIERUNG
  66. 66. STEFAN KAUFT SCHUHE • Shoppt in der Zalando App im Zug auf dem Weg nach hause, wird dabei aber unterbrochen • Sitzt auf dem Sofa und sieht einen Zalando Spot, googelt Zalando auf dem Smartphone • Verlässt das Sofa und schließt den Einkauf auf dem Desktop ab
  67. 67. TANJA BUCHT EINEN FLUG • Kriegt eine Einladung zum Geburtstag auf der Facebook App – wechselt in die Lufthansa App und schaut wie teuer ein Flug ist • Zu hause angekommen, vergleicht Preise auf anderen Webseiten und bucht dann direkt auf der Lufthansa Desktop Webseite • Erhält Erinnerung für Check-Inn als Push Notification 24 Stunden vor Flug
  68. 68. SZENARIO • Kunde loggt sich bei mir ein, z.B. via Social Log-In • Analytics- und Optimierungsplattform nutzt Universal User ID für Cross-Channel Tracking (aber ohne die Identität des Nutzers zu verraten)
  69. 69. WIE FUNKTIONIERT DAS GENAU? • Customer loggt sich via Facebook ein. • Tracking Call zur Analytics- und Optimierungsplattform: ! ! • Erstellen Sie Cross-channel Reports - Wann und wie wechseln User Kanäle? • Halten Sie die Erfahrungen über verschiedene Kanäle konsistent. Fahren Sie A/B Tests in Apps und für Webseiten für denselben User • Learnings nutzen, um neue Features zu bauen
  70. 70. BEISPIEL: HIPMUNK Letzte Suche als Default, wenn man Endgerät wechselt
  71. 71. BEISPIEL: GILT Abbruchrate durch Push- Notifications senken
  72. 72. Data Sie Ihre Besucher Action
  73. 73. LEARNINGS 1. A/B Testing - Alles Hinterfragen! ! 2. Mit Sinn und Verstand Testen ! 3. A/B Testing für Web ist gut, aber nicht alles!
  74. 74. Vielen Dank marius@optimizely.com @OPTIMIZELY

×