A/B Testing und Mehr
PROGRAMM
1. Warum A/B Testing?
!
2. Ideen für Tests finden
!
3. Die Zukunft der Optimierung
MARIUS KREMEYER
Senior Account Executive
marius@optimizely.com
Dan Pete
2006:

Dan Siroker und Pete Koomen

— Product Manager bei Google
2008: 

Dan — Obama Campaign	

2008 - 2010: 

Carrotsticks, Spreadly, 

undY Combinator.
2010: Gründung von Optimizely
2012 (Okt.): 100,000th Experiment, over	



1 Billion pages. #1 Website Optimization Platform
2013: $28M für Internationalisierung
100K
$28M
Unsere Geschichte
9000 Glückliche Kunden
$57M 2014: $57M für weitere Expansion
1. Warum A/B Testing?
92:1
92$ werden für Trafficakquise ausgegeben, nur 1$ für die Optimierung
* IBM TeaLeaf, 2012
1994
Seit wann testet Amazon seine Webseite?
10 - 20
Quelle: http://meta.wikimedia.org/wiki/Fundraising_2012/report
Wie viele A/B Tests macht Wikipedia pro Tag?
RICHARD FEYNMAN
“During the Middle Ages there were all kinds of crazy ideas, such as
that a piece of rhinoceros horn would increase potency. Then a
method was discovered for separating ideas […]
And it developed very well, so that we are now in a scientific age.”
RICHARD FEYNMAN
“But even today I meet lots of people who sooner or
later get me into a conversation about UFOs, or
astrology, […] and so forth.
!
And I’ve concluded that it’s not a scientific world.”
JOHN OHRINGER - CEO SHUTTERSTOCK
“Nothing goes live on Shutterstock without Testing.”
!
JEFF BEZOS - CEO AMAZON
“Experiments are by their very nature prone to failure.
But a few big successes compensate for dozens and
dozens of things that didn’t work.”
!
ALLES HINTERFRAGEN!
BEISPIEL 1: CHROME INDUSTRIES
!
!
!
Performen Bilder oder Videos auf Kategorieseiten besser?
+ 0,2% Conversions
Obwohl Chrome Industries 0,2% Uplift erzielte, so war dies allerdings
zu wenig, um eine Investition in Videos für jede Kategorieseite zu
rechtfertigen. Videos sind um einiges teurer als Produktbilder. A/B Tests
halfen dem Team von Chrome Industries dabei Geld zu sparen.
!
ERGEBNIS
BEISPIEL 2: SIM CITY
!
!
!
Wie erhöhen wir die Anzahl der Vorbestellungen für das Spiel Sim
City?
+ 43% Conversions
Electronic Arts fand durch einen A/B Test heraus, dass Besucher, die
das Spiel Sim City vorbestellen wollten, nicht durch einen 20$ Discount
auf den nächsten Einkauf motiviert wurden. Alles was sie wollten, war
das Spiel so schnell wie möglich zu haben. Daher funktionierte die
Variante ohne Banner so viel besser als das Original.
!
ERGEBNIS
BEISPIEL 3: MAGINE
!
!
!
Wie können wir die Anzahl der Abonnenten erhöhen?
- 2% Klicks
+ 9% Abonnenten
Magine fand durch diesen Test heraus, dass die Variante mit mehr Infos
über die nächsten Schritte zwar weniger Klicks, dafür aber mehr
Abonnenten erzielte. Besucher waren sich besser bewusst, was sie
erwarten würde und dadurch entschieden sich mehr, den
Anmeldeprozess abzuschließen.
!
ERGEBNIS
BEISPIEL 4: HOME24
!
!
!
Wie können wir die Nutzung der Suche und somit Bestellungen
steigern?
+ 9% Suchnutzung
+ 5% Bestellungen pro Session
Home24 fand durch diesen Test von 3 Varianten des Headers heraus,
dass eine gestraffte Variante mit hellen Farben zu gesteigerter Nutzung
der Suche führte. Dies hatte außerdem einen Uplift an Bestellungen pro
Session zur Folge.
!
ERGEBNIS
2. Ideen für Tests finden
OPTIMIERUNGSZYKLUS
Ergebnisse!
Analyse!
Hypothesen!
Priorisierung!
A/BTest!
ABER WO FANGE ICH AN?
ANALYTICS
ANALYTICS
Visits
Sign-Ups
$ per!
Recipient
Visitors!
per Day
Email $$
ANALYTICS
Visits
Sign-Ups
$ per!
Recipient
Visitors!
per Day
Email $$
TICKETS / FRAGEN
NUTZER TESTS / USER-TESTS
HEATMAPS / EYETRACKING
Quelle: ClickTale, Eyequant
WETTBEWERBERANALYSE
1. Welche Webseiten nutzen Sie gerne?
!
2. Was sind Ihre direkten Wettbewerber?
!
3. Was funktioniert in anderen Branchen /
Kategorien besonders gut?
3. Die Zukunft der Optimierung
MOBILE EATS THE WORLD
Quelle: ComScore
SCHLECHTE MOBILE-ERFAHRUNGEN
Quelle: Smashingmagazine, 2013
It’s about people, not devices
Optimizely ist für A/B
Testing von Webseiten…
!
…UND AUCH FÜR:
• Personalisierungskampagnen
• Segmentierung von Besuchergruppen
• Agile Entwicklung & Deployments
• Optimierung mobiler Webseiten
• Optimierung von Apps in iOS & Android
• Cross-Channel Optimierung
PERSONALISIERUNG MIT COOKIES
HYPOTHESE
Wenn: Wir Personen, die sich noch kein Konto
erstellt haben, jeweils eine Person des
anderen Geschlechts zeigen
Dann:!! Erhöhen wir die Anzahl der Anmeldungen
Weil:! ! Nutzer fühlen sich persönlich angesprochen.
ORIGINAL!
!
VARIANTE IN OPTIMIZELY ANLEGEN!
!
AUDIENCE IN OPTIMIZELY ANLEGEN!
!
PERSONALISIERUNG MIT GEO-LOCATION
Wenn: Wir die Ansprache auf die Stadt beziehen
Dann:! Werden mehr Besucher einen Termin
bei der Parfümerie in ihrer Nähe buchen
Weil: Nutzer sich persönlich angesprochen
fühlen
HYPOTHESE
ORIGINAL!
!
AUDIENCE ANLEGEN - LOCATION!
!
VARIANTE - STADTSPEZIFISCH!
!
Vs.
VERGLEICH - ORIGINAL & VARIANTE B!
!
OPTIMIERUNG MOBILER WEBSEITEN
Wenn: Shop Besucher Social Log-In
beim Check-Out nutzen können
Dann: Werden mehr Besucher den Kauf
abschließen
Weil:! Nutzer Bequemlichkeit schätzen und
keinen zusätzlichen Account anlegen
müssen
HYPOTHESE
- Log-in Wall
!
- Kein “Social Log-in”
AUF DEM DESKTOP
- - Keine Log-in Wall
!
- - “Social Log-in”
möglich
TESTIDEE
!
1. Shoppen ohne Registrierung erlauben
2. Einloggen mit Facebook ermöglichen
3. Warum sollte ich mich registrieren?
Welcher Check-Out wird
besser konvertieren?
OPTIMIERUNG MOBILER APPS
BEISPIEL: FRENCH GIRLS
1 Million Downloads
Problem: User Retention
Ziel: Onboarding optimieren
AKTIVIERUNG NEUER USER
Aktivierung bei French Girls:
!
Selfie aufnehmen!
Selfie zeichnen!
!
Activation Rate: 25%
+ 100% Uplift in Nutzeraktivierung
CROSS-CHANNEL OPTIMIERUNG
STEFAN KAUFT SCHUHE
• Shoppt in der Zalando App im Zug auf
dem Weg nach hause, wird dabei aber
unterbrochen
• Sitzt auf dem Sofa und sieht einen
Zalando Spot, googelt Zalando auf
dem Smartphone
• Verlässt das Sofa und schließt den
Einkauf auf dem Desktop ab
TANJA BUCHT EINEN FLUG
• Kriegt eine Einladung zum Geburtstag auf
der Facebook App – wechselt in die
Lufthansa App und schaut wie teuer ein
Flug ist
• Zu hause angekommen, vergleicht Preise
auf anderen Webseiten und bucht dann
direkt auf der Lufthansa Desktop Webseite
• Erhält Erinnerung für Check-Inn als Push
Notification 24 Stunden vor Flug
SZENARIO
• Kunde loggt sich bei mir ein, z.B. via Social Log-In
• Analytics- und Optimierungsplattform nutzt Universal User ID für
Cross-Channel Tracking (aber ohne die Identität des Nutzers zu
verraten)
WIE FUNKTIONIERT DAS GENAU?
• Customer loggt sich via Facebook ein.
• Tracking Call zur Analytics- und Optimierungsplattform:
!
!
• Erstellen Sie Cross-channel Reports - Wann und wie wechseln User
Kanäle?
• Halten Sie die Erfahrungen über verschiedene Kanäle konsistent. Fahren
Sie A/B Tests in Apps und für Webseiten für denselben User
• Learnings nutzen, um neue Features zu bauen
BEISPIEL: HIPMUNK
Letzte Suche als
Default, wenn
man Endgerät
wechselt
BEISPIEL: GILT
Abbruchrate
durch Push-
Notifications
senken
Data
Sie Ihre Besucher
Action
LEARNINGS
1. A/B Testing - Alles Hinterfragen!
!
2. Mit Sinn und Verstand Testen
!
3. A/B Testing für Web ist gut, aber nicht alles!
Vielen Dank
marius@optimizely.com
@OPTIMIZELY

Die Zukunft der Optimierung und Personalisierung mit Optimizely