Wie geht man bei einem A/B-Test richtig vor? Von der Problemanalyse, über die Hypothesenbildung bis zur Auswertung. Auf der DMX Austria 2014 hat Mirja Bettels, Senior Partner Manager bei der etracker GmbH, alle Bereiche des A/B-Testings umfassend beleuchtet. Die Kernthesen im Überblick: Ohne Hypothese kein Test Ohne Psychologie kein Test Ohne Segmentierung kein Test Ohne Micro-Conversions kein Test Ohne Formularfeldanalyse kein Formulartest Ohne UX-Analyse kein Page-Test Ohne Multi-KPI-Analyse kein Test

1. A/B-Testing aber richtig
DMX Austria 2014, Mirja Bettels, etracker GmbH

2. © etracker GmbH 2
Tag 1 nach dem Relaunch
Produkt Management
Website
Management
Online
Marketing
April 14

3. © etracker GmbH 3
1 Jahr nach dem Relaunch
Produkt Management
Website
Management
Online
Marketing
April 14

4. © etracker GmbH 4
Unsere Protagonisten
 Alexander
 32 Jahre
 Master Betriebswirtschaft
 Online Marketing Manager
 Neu bei Online ElectroniX
 Barbara
 34 Jahre
 Medienfachwirtin
 Online Marketing Manager
 Seit 4 Jahren bei
Online ElectroniX
 Expertin für Web-Controlling
April 14

5. © etracker GmbH 5
Alexanders erster Tag
April 14

6. User
Experience-
Analyse
Marketing-
Analyse
Web-Controlling
6© etracker GmbH
Wie wirken
Kampagnen?
Was passiert auf
meiner Website?
Wie passiert es?
Warum passiert
es?
Web-Analyse
Zufriedenheits-
analyse
April 14

7. © etracker GmbH 7
Web-Controlling
Marketing-Abteilung
 Analyse der Website
 Ableitung von
Optimierungsempfehlungen
Analysieren Optimieren
IT-Abteilung
 Umsetzung der
Optimierungsempfehlungen
April 14
User
Experience-
Analyse
Marketing-
Analyse
Wie wirken
Kampagnen?
Was passiert
auf meiner
Website?
Wie passiert
es?
Warum
passiert es?
Web-Analyse
Zufriedenheits-
analyse

8. © etracker GmbH 8
… aber sollten wir unsere Ideen nicht
erst testen?
April 14

9. © etracker GmbH 9
Web-Controlling
Analysieren Optimieren
April 14

10. Web-Controlling
10© etracker GmbH
Analysieren Testen Optimieren
April 14

11. © etracker GmbH 11
Wie soll das funktionieren ?
April 14

12. © etracker GmbH 12
A/B-Testing aber richtig
April 14

13. © etracker GmbH 13
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
1
April 14

14. © etracker GmbH 14
Was ist ein A/B-Test?
1000 Besucher
Original Variante
50 %50 %
Online ElectroniX
Jetzt kaufen
Online ElectroniX
20 % Rabatt
Jetzt kaufen
April 14

15. © etracker GmbH 15
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
2
April 14

16. Bevor man testet: Hypothesen
aufstellen!
16
Eine Hypothese setzt sich aus drei
Komponenten zusammen:
(1) Problemstellung
(2) Optimierungsvorschlag
(3) Erwartetes Ergebnis des
Optimierungsvorschlags
Wenn ............
durch ............ verändert wird,
dann erreichen wir eine Optimierung
der ............ !
© etracker GmbH
“
1
2
3
?
April 14

17. © etracker GmbH 17
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
3
April 14

18. Probleme identifizieren:
Web-Analyse Daten
18
 Was sind typische
Einstiegsseiten?
 Auf welchen Seiten gibt es die
meisten Bouncer?
 Was sind typische
Ausstiegsseiten?
 Welche Traffic-Quelle liefert
die niedrigste Klick to Sale-
Konversion?
© etracker GmbHApril 14

19. © etracker GmbH 19
Probleme identifizieren:
Sales-Funnel
Werbemittel
Landingpage / Startseite
Produktseite
Warenkorb
Bestellprozess
Bestellung
abgeschickt
 An welchen Stellen im Sales-Funnel brechen die meisten
Besucher weg?
April 14

20. Probleme identifizieren:
User Experience-Analyse
20
 Gibt es auffällige
Mausbewegungen auf einer
bestimmten Seite?
 Werden wichtige Elemente
einer Website nicht
betrachtet?
 Scrollen die Besucher nicht
zum entsprechenden Call-to-
Action?
© etracker GmbHApril 14

21. © etracker GmbH 21
Probleme identifizieren:
Formularanalyse
 Wie viele Besucher interagieren mit dem Formular?
 Wie viele schicken das Formular ab?
 Wie lange benötigen Besucher pro Feld?
 Bei welchen Feldern brechen sie ab?
April 14

22. Probleme identifizieren:
Besucherfeedback
22
 Was sagen die Nutzer über
die User Experience auf der
Website?
 Gibt es Probleme, die Nutzer
immer wieder anmerken?
© etracker GmbHApril 14

23. © etracker GmbH 23
Ideen für Tests ableiten:
Was sollte man für einen Test verändern?
One step at a time
 Headlines
 Seitenlayout
 Navigation
 Copy-Texte
 Das konkrete Angebot an den Kunden
 Design und Text von Call-to-Actions
 Unterschiedliche Medienarten wie Videos oder Bildergalerien
… oder auch radikale Änderungen
Online ElectroniX
Jetzt kaufen
April 14

24. © etracker GmbH 24
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
4
April 14

25. © etracker GmbH 25
Ideen für Tests ableiten:
Grundlagen der Persuasion
Besucher
überzeugen
April 14

26. © etracker GmbH 26
Ideen für Tests ableiten:
Grundlagen der Persuasion
 Künstliche Verknappung
April 14

27. © etracker GmbH 27
Ideen für Tests ableiten:
Grundlagen der Persuasion
 Soziale Erwünschtheit
April 14

28. © etracker GmbH 28
Ideen für Tests ableiten:
Grundlagen der Persuasion
 Commitment und Konsistenz
April 14

29. © etracker GmbH 29
Ideen für Tests ableiten:
Grundlagen der Persuasion
 Begrenzte Auswahl
April 14

30. © etracker GmbH 30
Ideen für Tests ableiten:
Grundlagen der Persuasion
 Begeisterung
Und noch einen
oben drauf…
April 14

31. © etracker GmbH 31
Alexander hat hierzu mal ein Beispiel…
April 14

32. © etracker GmbH 32
Beispiel: Warenkorb
Vorher (ohne Optimierung)
April 14

33. © etracker GmbH 33
Beispiel: Warenkorb
Vorher
Nachher
April 14

34. © etracker GmbH 34
Beispiel: Warenkorb
Vorher
Nachher
April 14

35. © etracker GmbH 35
Beispiel: Warenkorb
Vorher
Nachher
April 14

36. © etracker GmbH 36
Beispiel: Warenkorb
Vorher
Nachher
April 14

37. © etracker GmbH 37
Beispiel: Warenkorb
Vorher
Nachher
April 14

38. © etracker GmbH 38
Beispiel: Warenkorb
Vorher
Nachher
April 14

39. Vorher
Beispiel: Warenkorb
39
1. Klarer und einziger Call-to-Action
2. Übersichtlicher Produktbereich
3. Dynamische Promotionbox für jede
Situation
4. Sichtbare Versand- und
Gesamtkosten
5. Fokus liegt auf dem
KOSTENLOSEN Geschenk
6. Häkchen wecken positive
Assoziationen
7. Gutschein-Code rückt in den
Hintergrund
8. Vertrauen und Flexibilität der
Zahlung werden herausgestellt
9. Call-to-Action wird noch einmal
wiederholt
© etracker GmbH
Nachher
1
2
3
4
5
6
7
8
9
April 14

40. Und wie kann man das Ganze auf
Online ElectroniX übertragen?
40© etracker GmbHApril 14

41. Eine Hypothese setzt sich aus drei
Komponenten zusammen:
(1) Problemstellung
(2) Optimierungsvorschlag
(3) Erwartetes Ergebnis des
Optimierungsvorschlags
Wenn auf den Produktseiten
der Call-to-Action auffälliger
dargestellt und mit einem konkreten Angebot
versehen wird, dann wird die Click-Sale-
Conversion steigen!
Unsere Hypothese für die
Produktseiten
41© etracker GmbH
“
1
2
3
?
April 14

42. © etracker GmbH 42
Verschiedene Varianten testen
Online ElectroniX
Jetzt kaufen
Original
Online ElectroniX
20 % Rabatt
Jetzt kaufen
Online ElectroniX
Jetzt kaufen
Online ElectroniX
Jetzt kaufen
20 %
Rabatt
Variante A
Variante B
Variante C
April 14

43. © etracker GmbH 43
Verschiedene Varianten testen
 Nicht zu viele Varianten mit zu vielen Änderungen testen
Online ElectroniX
20 % Rabatt
Jetzt kaufen
Online ElectroniX
Jetzt kaufen
Online ElectroniX
Jetzt kaufen
20 %
Rabatt
Variante A Variante B Variante C
April 14

44. © etracker GmbH 44
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
5
April 14

45. © etracker GmbH 45
Die Wahl des Konversionsziels
Produkt-
übersicht
Produkt
gesehen
Produkt in den
Warenkorb
gelegt
Produkt
gekauft
 Kürzere Konversionsziele sind aussagekräftiger als längere
April 14

46. © etracker GmbH 46
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
6
April 14

47. © etracker GmbH 47
Multi-KPI-Analyse
8,75% 11,67 %
1.200 1.200
105 140
Konversionsrate
Besucher
Bestellungen
Original Variante A
 Der Erfolg eines Tests sollte nicht alleine anhand der
Konversionsrate beurteilt werden
April 14

48. © etracker GmbH 48
Multi-KPI-Analyse:
Weitere Kennzahlen
Ø Durchschnittlicher Warenkorbumsatz
Umsatz und Ergebnis
Berücksichtigung von Retouren
Berücksichtigung der Customer Journey
Berücksichtigung des Customer Lifetime Value
u.v.m.
April 14

49. © etracker GmbH 49
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
7
April 14

50. Testergebnisse auswerten:
User Experience-Analyse
50
 Wie hat sich das
Besucherverhalten der
Variante im Vergleich zum
Original geändert?
© etracker GmbHApril 14

51. © etracker GmbH 51
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
8
April 14

52. © etracker GmbH 52
Analyse des A/B-Tests über alle
Besucher
11,67 %
8,75 %Original
Variante A
April 14

53. © etracker GmbH 53
Analyse des A/B-Tests nach
verschiedenen Segmenten
9,56 %
9,23 % Original
Variante A8,68 %
10,30 %
12,15%
8,83%
12,68 %
7,52%
Segment 1 Segment 2 Segment 3 Segment 4
April 14

54. Segmentieren nicht vergessen
54
 A/B-Test sollten nicht nur über
alle Besucher ausgewertet
werden
 Einflussfaktoren können z.B.
auch sein
 Einstiegsseite
 Medium
 Kampagne
 Herkunft
 Keyword
© etracker GmbHApril 14

55. © etracker GmbH 55
Fazit: A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne User Experience-Analyse kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne Segmentierung kein Test
April 14

56. © etracker GmbH 56
Und die Moral von der Geschicht …
… Analysieren und Optimieren
geht ohne Testen nicht.
April 14

57. Kommen Sie an unserem Stand vorbei
etracker Academy
in Österreich
Oktober 2014
Jetzt Infos am Stand erhalten!

58. Mirja Bettels
Senior Partner Manager
Tel: +49 40 55 56 59 54
Fax: +49 40 55 56 59 59
bettels@etracker.com
etracker GmbH
Erste Brunnenstraße 1
20459 Hamburg
© etracker GmbHApril 14 58
Ihr persönlicher Ansprechpartner