Die meisten Unternehmen haben längst erkannt, dass die digitale Transformation auch im deutschsprachigen Raum nicht aufzuhalten ist. Doch wie können Sie zuverlässig eine wettbewerbsfähige User Experience schaffen? Ein nutzerzentrierter Ansatz ermöglicht es Ihnen, digitale Angebote zu entwickeln, die von Ihren Kunden gerne angenommen werden. Kontrollierte Online-Experimente helfen Ihnen dabei, Kundenbedürfnisse zu verstehen und so Ihre digitalen Kampagnen zu optimieren und zu personalisieren. In unserem Webinar geht es um: - Von A/B Testing hin zu Experimentation - Kontrollierte Online-Experimente strukturiert nutzen - Daten-basierte Entscheidungen zur Optimierung der Customer Experience treffen

1. A/B-Testing reloaded:
Mit kontrollierten Online-
Experimenten die digitale
Transformation meistern
Sandra Schröter
Product Marketing Manager, Optimizely

2. Agenda
• Herausforderungen im Marketing und E-Commerce 2018
• Methoden zur Gewinnung von Einblicken in Kundenbedürfnisse
• Experimentation: Hypothesen-getriebene Methode zur daten-
basierten Entscheidungsfindung
• Fallbeispiele von Secret Escapes, Delivery Hero, Optimizely und Missguided
• Zusammenfassung
• Ressourcen
• Fragen & Antworten

3. Herausforderungen im Marketing und E-Commerce 2018
• Sich verändernde Kundenbedürfnisse
• Wettbewerbssituation
• Schneller Wandel der Branche durch die Digitalisierung

4. Einführung von Technologie
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1900 1910 1920 1930 1940 1950 1960 1970 1980 1990 2000 2010 2020
Telephone Radio TV Internet
Social Media Smartphone Virtual Reality IoT

5. Hemnisse bei der digitalen Transformation
Quelle: etventure-Studie in Zusammenarbeit mit der GFK „Digitale Transformation 2018 - Hemmnisse, Fortschritte, Perspektiven”
58%
51%
48%
Verteidigung bestehender Strukturen
Fehlende Erfahrung bei nutzerzentriertem Vorgehen
Blockierende Sicherheitsanforderungen

6. Bitkom: 96% nutzen digitale Touchpoints
Quelle: Bitkom-Studie „Digitale Kundenbeziehung - Wie Unternehmen auf ihre Kunden in der digitalen Welt eingehen und wie sie davon profitieren"

7. Bitkom: Nur die Hälfte versucht, Kunden besser zu
verstehen
Quelle: Bitkom-Studie „Digitale Kundenbeziehung - Wie Unternehmen auf ihre Kunden in der digitalen Welt eingehen und wie sie davon profitieren"

8. Methoden zur Gewinnung von Einblicken in
Kundenbedürfnisse
Marktforschung Analytics

9. Methoden zur Gewinnung von Einblicken in
Kundenbedürfnisse
Marktforschung Analytics Experimentation
+ +

10. experimentum
• Lateinisch: Versuch, Probe, Beweis
• Wissenschaftliche Methode zur Datenerhebung
• Gezielte Prüfung einer bestimmten Annahme oder Vermutung,
die dadurch entweder bewiesen oder widerlegt
werden soll
• “Test and Learn”

11. Experimentation erweckt Ideen zum Leben
Formulierung der
Hypothese
AnalyseEntwicklung
Durchführung

12. Ich habe nicht versagt.
Ich habe nur 10.000 Wege
gefunden, die nicht
funktionieren.
Thomas Edison

13. Weitere Beispiele aus der Geschichte
• Archimedes (287-213 v.Chr.) entdeckte die Hebelgesetze
• Galileo Galilei (1564-1642) entdeckte die Bewegungsgesetze
• Marie Curie (1867- 1934) entdeckte die Radioaktivität
• Entmystifizierung der Welt

14. Digital Experimentation
Unser Erfolg ist
unmittelbar davon
abhängig, wie viele
Experimente wir pro Jahr,
Monat, Woche und
Stunde durchführen.
Jeff Bezos

15. Digital Experimentation
Die Onlinewelt gilt oft als turbulent und gefährlich, aber
kontrollierte Experimente können dazu beitragen, sich
sicher darin zu bewegen.
Bei Bing halfen die Tests dabei, Monat für Monat
Verbesserungen einzuführen, die den Umsatz je Suche
um 10 bis 25 Prozent pro Jahr erhöhten.
In einem Zeitalter, in dem das Internet für praktisch alle
Unternehmen überlebenswichtig geworden ist, sollten
Onlineexperimente nach wissenschaftlichen Methoden zu
den Standardverfahren gehören.

16. Wir führen jeden Tag tausende von Experimenten
durch, um unsere Ideen schnell zu validieren.
Experimentation ist inzwischen so tief in
Booking.com verwurzelt, dass wir jede Änderung
angefangen von ganzen Redesigns über
Infrastruktur-Änderungen und Bux-Fixes im Rahmen
eines Experiments durchführen.

17. Arten von Experimentation
• A/B-Testing
• Multivariate Testing
• Painted-Door-Test
• Performance-Test
• Testen von Algorithmen
• Testen von Businessmodellen

18. A/B-Testing
A B

19. 6+ Varianten
5 Varianten
4 Varianten
3 Varianten
2 Varianten
Multivariate-Testing

20. 77% aller Tests testen 2 Varianten
1%
2%
5%
14%
77%
6+ Varianten
5 Varianten
4 Varianten
3 Varianten
2 Varianten

21. 5 Varianten zu testen erhöht die Win-Rate um 75%
43%
44%
37%
33%
25%
6+ Varianten
5 Varianten
4 Varianten
3 Varianten
2 Varianten
Signifikante
Steigerung
Signifikante
Reduktion
Ohne
Ergebnis
+32%
+48%
+75%
+71%

22. Arten von Experimentation
• A/B-Testing
• Multivariate Testing
• Painted-Door-Test
• Performance-Test
• Testen von Algorithmen
• Testen von Businessmodellen

23. Vorteile von Online-Experimenten
Prüfung von Ideen zur:
• Steigerung des Umsatzes
• Optimierung der Conversion Rate (CRO)
• Minimierung des Risiko bei der Ausrollung von Änderungen

24. Fallbeispiel: A/B-Testing @ Secret Escapes
Anmelden überspringen vs. Anmelden nicht überspringen

25. Fallbeispiel: A/B-Testing @ Secret Escapes
x 2
Anmelden nicht überspringenAnmelden überspringen vs.

26. Fallbeispiel: Multivariate Testing @ Delivery Hero
HintergrundvideoHintergrundbild(er) vs.

27. Fallbeispiel: Multivariate Testing @ Delivery Hero
HintergrundvideoHintergrundbild(er) vs.
+11,4 %

28. Fallbeispiel: Painted-Door-A/B-Test @ Optimizely
Painted Door BPainted Door A vs.

29. Fallbeispiel: Painted-Door-A/B-Test @ Optimizely

30. Fallbeispiel: Testen eines Businessmodells @ Missguided
unicorn class premier delivery
£9.99
unlimited free next day delivery for a whole year
the days of adding £30 worth of mg goodies just for free
next day delivery are over. have it your way for a year with
unicorn class.
no minimum spend, no hassle with codes, unlimited next
day delivery has never looked so fly

31. Zusammenfassung
• Kundenbedürfnisse + Wettbewerb + Digitalisierung
• Optimierung der Customer Experience
• Agiles, nutzerzentriertes Vorgehen:
Marktforschung + Analytics + Experimentation
• Experimente zur Entmystifizierung der Welt/des Kunden
• Steigerung des Umsatzes und der Conversions
• Minimierung des Risikos

32. Ressourcen
• Bitkom: Digitale Kundenbeziehung - Wie Unternehmen auf ihre
Kunden in der digitalen Welt eingehen und wie sie davon
profitieren
• Harvard Business Manager: Klüger Experimentieren

33. Begriffserklärung
A/B-Testing
Multivariate Test
Painted-Door-Test (Englisch)

34. Sandra Schröter
Product Marketing Manager
sandra.schroeter@optimizely.com
Fragen & Antworten