1.
5 A/B TESTS IN 30 MINUTEN
Jasmin Merz
!
Optimizely

2.
JASMIN MERZ
Business Development DACH
jasmin@optimizely.com

3.
PROGRAMM DES WEBINARS
1. Kurze Einführung
2. Test 1 - Testen der Navigation
3. Test 2 - Testen von Bildern
4. Test 3 - Mobiles Testen
5. Test 4 - Personalisieren mit Cookies
6. Test 5 - Personalisieren durch Geo-Location
7. Fazit
8. Appendix & Case Studies

4.
Dan Pete
2006:
Dan Siroker und Pete Koomen
— Product Manager bei Google
2008:
Dan — Obama Campaign
2008 - 2010:
Carrotsticks, Spreadly,
und Y Combinator.
2010: Gründung von Optimizely
2012 (Okt.): 100,000th Experiment, over
1 Billion pages. #1 Website Optimization Platform
2013: $28M für Internationalisierung
100K
$28M
Unsere Geschichte
8000+ Glückliche Kunden
$57M 2014: $57M für weitere Expansion

5.
ZIELE EINER HYPOTHESE
• Fokus auf die richtigen Ziele und KPIs
• Fokus auf die richtigen Elemente
• Daten führen zu klarer Entscheidung
Keine Hypothese —> Keine Learnings
!
!

6.
DIE PERFEKTE HYPOTHESE
!
!
!
Wenn [gezielte Veränderung]
dann [erwarteter Effekt; KPI]
weil [tiefer liegendes Prinzip]. !
!
Wenn Empfehlungen von unten nach oben links verschoben werden
!
dann steigen Pageviews pro Besuch
!
weil sie mehr Aufmerksamkeit bekommen und Nutzer eher
relevanten Content finden.

7.
Test 1
Testen der Navigation

8.
HYPOTHESE!
!
Wenn wir das “Sale”-Element nach links verschieben und einfärben, dann
erhöhen wir die CTR, denn Besucher lesen von links nach rechts und nehmen
die Angebote so eher wahr.

9.
ORIGINAL!
!

10.
VARIANTE IM OPTIMIZELY EDITOR!
!
Wir nutzen die Funktion “Neu Ordnen” um das “Sale” Element nach links zu verschieben.

11.
NEUE VARIANTE “SALE LINKS”!
!
Wir haben im visuellen Editor das “Sale” Element auf der linken Seite angeordnet und so
eine zweite Variant der Webseite erstellt.

12.
NEUE VARIANTE “SALE LINKS” UND ROT!
!
Wir können in einem 2. Schritt eine Variante anlegen, bei der “Sale” links und rot
eingefärbt ist. Wir können nun testen, welche Variante der Navigation die meisten Klicks
generiert.

13.
Test 2
Testen von Bildern

14.
HYPOTHESE!
!
Wenn wir statt des Produktbildes das Bild einer Person auf der Homepage einsetzen,
dann wird sich die Aktivität auf der Webseite erhöhen, weil sich Besucher persönlich
angesprochen fühlen.

15.
ORIGINAL!
!

16.
BILD AUSTAUSCHEN!
!
Wir klicken das Bild im Optimizely Editor an, gehen dann auf “Element bearbeiten”
und “Bild ändern”, um das blau umrandete Bild zu ändern.

17.
NEUE VARIANTE - HOMEPAGEBANNER!
!
Wir können in Optimizely Bilder sehr einfach austauschen - entweder via Link oder
direkt von unserem Computer.

18.
Test 3
Mobiles Testen

19.
HYPOTHESE!
!
Wenn wir das Promobanner weiter oben platzieren, dann klicken mehr Personen
auf die Angebote, denn nicht alle Besucher werden bis nach unten durchscrollen.

20.
MOBILE VERSION LADEN!
!
Wir können die Webseite im Editor unter Editor-Einstellungen die mobile Version der
Webseite laden und so die Version z.B. im iPhone Format laden.

21.
MOBILE VERSION - ORIGINAL!
!
Auf der Originalseite sehen wir auf dem iPhone die Suche, das Banner sowie 3
Navigationselemente.

22.
MOBILE VERSION - VARIANTE B!
!
Ein Promobanner, was erst nach längerem Scrollen auf dem iPhone sichtbar war, haben
wir mit der Funktion “Neu Ordnen” nach oben gezogen. Wir hoffe, dass sich mehr Leute
den Gutschein sichern und einkaufen.

23.
MOBILE VERSION - ORIGINAL & VARIANTE B!
!
Vs.
Hier die veränderte Version im Vergleich zum original. Welche Variante wird mehr Klicks
generieren?

24.
Test 4
Personalisieren mit Cookies

25.
HYPOTHESE!
!
Wenn wir Personen, die sich noch kein Konto erstellt haben jeweils eine Person des anderen
Geschlechts zeigen, dann erhöhen wir die Anzahl der Anmeldungen, denn z.B. eine Frau,
die beim ersten Mal nicht konvertiert fühlt sich eher von einem Mann angesprochen.

26.
ORIGINAL!
!

27.
BILD AUSTAUSCHEN - VARIANTE B!
!
Im Editor von Optimizely können wir ein Bild ganz einfach austauschen und eine alternative
Variante zur Homepage erstellen.

28.
BILD AUSGETAUSCHT - VARIANTE B!
!
Im Editor von Optimizely können wir ein Bild ganz einfach austauschen - entweder durch
ein Bild online oder direkt von unserem Computer. So haben wir eine 2. Variante unserer
Homepage erstellt.

29.
AUDIENCE ANLEGEN - COOKIES!
!
Wie können in “Audiences” Besuchergruppen anlegen und somit Variante B, also das
Bild mit dem Mann nur den Besuchern zeigen, die wir als Gruppe “nicht angemeldet &
Frau” über einen Cookie identifizieren.

30.
Test 5
Personalisieren durch Geo-Location

31.
HYPOTHESE!
!
Wenn wir die Ansprache auf die Stadt beziehen und Personen aus z.B. Hamburg einen
stadtspezifischen Text anzeigen, dann werden mehr Besucher einen Termin bei der
Parfümerie in ihrer Nähe buchen, denn die Nutzererfahrung wird so personalisiert.

32.
ORIGINAL!
!

33.
AUDIENCE ANLEGEN - LOCATION!
!
Wir nutzen “Audiences” um die Zielgruppe für dieses Experiment festzulegen. Wir wollen
anhand der Geo-location testen, ob ein stadtspezifischer Text mit Besuchern aus
Hamburg zu mehr gebuchten Terminen führt.

34.
NEUE VARIANTE - STADTSPEZIFISCH!
!
In Optimizelys visuellem Editor erstellen wir eine 2. Variante, bei der wir den Text
spezifisch auf Besucher aus Hamburg anpassen (Siehe rote Pfeile).

35.
VERGLEICH - ORIGINAL & VARIANTE B!
!
Vs.
Optimizely macht es unglaublich einfach, Texte auf der Webseite zu ändern und
gegeneinander zu testen. Welche Variante wird bei den Besuchern besser funktionieren?

36.
Fazit

37.
PRIORISIERUNG
Kosten/Aufwand
Erwarteter Nutzen

38.
Wichtig: Hypothese vor Test aufsetzen
Hypothesen helfen bei der Planung und Auswertung
Tests strukturell planen
Welche Tests haben das größte Potenzial?
Priorisierung ist wichtig
!
!
TAKEAWAYS

39.
Appendix

40.
Case Study - 21Diamonds

41.
TESTEN VON BANNERN
21Diamonds wollte herausfinden,
welcher Text für Anzeigenbanner
am besten funktionieren würde.

42.
Vs.
Original Variante
2 X höhere
CTR

43.
LESSON LEARNED
Alessio Romito
21Diamonds
,,Auch wenn sie bei uns
Geschenke aus Liebe kaufen,
Rabatte scheinen Besucher
dennoch besser zu motivieren.”

44.
Case Study - AutoScout24

45.
FORMULAROPTIMIERUNG
Wie schaffe ich es,
die Abbruchrate beim
Kontaktformular zu
minimieren?

46.
Original Variante
21,6 %
geringere
Abbruchrate
Vs.

47.
LESSON LEARNED
Tobias Kleyer
DieProduktmacher
„Je geringer die Nutzerinteraktion mit dem
Formular ist, desto geringer ist die
Wahrscheinlichkeit eines Abbruchs. Gibt es
also einen vorausgefüllten Standardtext, kann
der User die Anfrage einfach mit nur einem
Klick abschließen.”

48.
KONTAKTDATEN
Jasmin Merz
!
jasmin@optimizely.com
!
optimizely.de
!
blog.optimizely.de
!
!
!
!
!

49.
Danke