A/B-Testing aber richtig
DMX Austria 2014, Mirja Bettels, etracker GmbH
© etracker GmbH 2
Tag 1 nach dem Relaunch
Produkt Management
Website
Management
Online
Marketing
April 14
© etracker GmbH 3
1 Jahr nach dem Relaunch
Produkt Management
Website
Management
Online
Marketing
April 14
© etracker GmbH 4
Unsere Protagonisten
 Alexander
 32 Jahre
 Master Betriebswirtschaft
 Online Marketing Manager
 Neu...
© etracker GmbH 5
Alexanders erster Tag
April 14
User
Experience-
Analyse
Marketing-
Analyse
Web-Controlling
6© etracker GmbH
Wie wirken
Kampagnen?
Was passiert auf
meiner...
© etracker GmbH 7
Web-Controlling
Marketing-Abteilung
 Analyse der Website
 Ableitung von
Optimierungsempfehlungen
Analy...
© etracker GmbH 8
… aber sollten wir unsere Ideen nicht
erst testen?
April 14
© etracker GmbH 9
Web-Controlling
Analysieren Optimieren
April 14
Web-Controlling
10© etracker GmbH
Analysieren Testen Optimieren
April 14
© etracker GmbH 11
Wie soll das funktionieren ?
April 14
© etracker GmbH 12
A/B-Testing aber richtig
April 14
© etracker GmbH 13
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse ke...
© etracker GmbH 14
Was ist ein A/B-Test?
1000 Besucher
Original Variante
50 %50 %
Online ElectroniX
Jetzt kaufen
Online El...
© etracker GmbH 15
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse ke...
Bevor man testet: Hypothesen
aufstellen!
16
Eine Hypothese setzt sich aus drei
Komponenten zusammen:
(1) Problemstellung
(...
© etracker GmbH 17
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse ke...
Probleme identifizieren:
Web-Analyse Daten
18
 Was sind typische
Einstiegsseiten?
 Auf welchen Seiten gibt es die
meiste...
© etracker GmbH 19
Probleme identifizieren:
Sales-Funnel
Werbemittel
Landingpage / Startseite
Produktseite
Warenkorb
Beste...
Probleme identifizieren:
User Experience-Analyse
20
 Gibt es auffällige
Mausbewegungen auf einer
bestimmten Seite?
 Werd...
© etracker GmbH 21
Probleme identifizieren:
Formularanalyse
 Wie viele Besucher interagieren mit dem Formular?
 Wie viel...
Probleme identifizieren:
Besucherfeedback
22
 Was sagen die Nutzer über
die User Experience auf der
Website?
 Gibt es Pr...
© etracker GmbH 23
Ideen für Tests ableiten:
Was sollte man für einen Test verändern?
One step at a time
 Headlines
 Sei...
© etracker GmbH 24
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse ke...
© etracker GmbH 25
Ideen für Tests ableiten:
Grundlagen der Persuasion
Besucher
überzeugen
April 14
© etracker GmbH 26
Ideen für Tests ableiten:
Grundlagen der Persuasion
 Künstliche Verknappung
April 14
© etracker GmbH 27
Ideen für Tests ableiten:
Grundlagen der Persuasion
 Soziale Erwünschtheit
April 14
© etracker GmbH 28
Ideen für Tests ableiten:
Grundlagen der Persuasion
 Commitment und Konsistenz
April 14
© etracker GmbH 29
Ideen für Tests ableiten:
Grundlagen der Persuasion
 Begrenzte Auswahl
April 14
© etracker GmbH 30
Ideen für Tests ableiten:
Grundlagen der Persuasion
 Begeisterung
Und noch einen
oben drauf…
April 14
© etracker GmbH 31
Alexander hat hierzu mal ein Beispiel…
April 14
© etracker GmbH 32
Beispiel: Warenkorb
Vorher (ohne Optimierung)
April 14
© etracker GmbH 33
Beispiel: Warenkorb
Vorher
Nachher
April 14
© etracker GmbH 34
Beispiel: Warenkorb
Vorher
Nachher
April 14
© etracker GmbH 35
Beispiel: Warenkorb
Vorher
Nachher
April 14
© etracker GmbH 36
Beispiel: Warenkorb
Vorher
Nachher
April 14
© etracker GmbH 37
Beispiel: Warenkorb
Vorher
Nachher
April 14
© etracker GmbH 38
Beispiel: Warenkorb
Vorher
Nachher
April 14
Vorher
Beispiel: Warenkorb
39
1. Klarer und einziger Call-to-Action
2. Übersichtlicher Produktbereich
3. Dynamische Promot...
Und wie kann man das Ganze auf
Online ElectroniX übertragen?
40© etracker GmbHApril 14
Eine Hypothese setzt sich aus drei
Komponenten zusammen:
(1) Problemstellung
(2) Optimierungsvorschlag
(3) Erwartetes Erge...
© etracker GmbH 42
Verschiedene Varianten testen
Online ElectroniX
Jetzt kaufen
Original
Online ElectroniX
20 % Rabatt
Jet...
© etracker GmbH 43
Verschiedene Varianten testen
 Nicht zu viele Varianten mit zu vielen Änderungen testen
Online Electro...
© etracker GmbH 44
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse ke...
© etracker GmbH 45
Die Wahl des Konversionsziels
Produkt-
übersicht
Produkt
gesehen
Produkt in den
Warenkorb
gelegt
Produk...
© etracker GmbH 46
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse ke...
© etracker GmbH 47
Multi-KPI-Analyse
8,75% 11,67 %
1.200 1.200
105 140
Konversionsrate
Besucher
Bestellungen
Original Vari...
© etracker GmbH 48
Multi-KPI-Analyse:
Weitere Kennzahlen
Ø Durchschnittlicher Warenkorbumsatz
Umsatz und Ergebnis
Berücksi...
© etracker GmbH 49
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse ke...
Testergebnisse auswerten:
User Experience-Analyse
50
 Wie hat sich das
Besucherverhalten der
Variante im Vergleich zum
Or...
© etracker GmbH 51
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse ke...
© etracker GmbH 52
Analyse des A/B-Tests über alle
Besucher
11,67 %
8,75 %Original
Variante A
April 14
© etracker GmbH 53
Analyse des A/B-Tests nach
verschiedenen Segmenten
9,56 %
9,23 % Original
Variante A8,68 %
10,30 %
12,1...
Segmentieren nicht vergessen
54
 A/B-Test sollten nicht nur über
alle Besucher ausgewertet
werden
 Einflussfaktoren könn...
© etracker GmbH 55
Fazit: A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemana...
© etracker GmbH 56
Und die Moral von der Geschicht …
… Analysieren und Optimieren
geht ohne Testen nicht.
April 14
Kommen Sie an unserem Stand vorbei
etracker Academy
in Österreich
Oktober 2014
Jetzt Infos am Stand erhalten!
Mirja Bettels
Senior Partner Manager
Tel: +49 40 55 56 59 54
Fax: +49 40 55 56 59 59
bettels@etracker.com
etracker GmbH
Er...
Nächste SlideShare
Wird geladen in …5
×

A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

2.086 Aufrufe

Veröffentlicht am

Wie geht man bei einem A/B-Test richtig vor? Von der Problemanalyse, über die Hypothesenbildung bis zur Auswertung. Auf der DMX Austria 2014 hat Mirja Bettels, Senior Partner Manager bei der etracker GmbH, alle Bereiche des A/B-Testings umfassend beleuchtet.

Die Kernthesen im Überblick:
Ohne Hypothese kein Test
Ohne Psychologie kein Test
Ohne Segmentierung kein Test
Ohne Micro-Conversions kein Test
Ohne Formularfeldanalyse kein Formulartest
Ohne UX-Analyse kein Page-Test
Ohne Multi-KPI-Analyse kein Test

Veröffentlicht in: Software
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
2.086
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
851
Aktionen
Geteilt
0
Downloads
9
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

  1. 1. A/B-Testing aber richtig DMX Austria 2014, Mirja Bettels, etracker GmbH
  2. 2. © etracker GmbH 2 Tag 1 nach dem Relaunch Produkt Management Website Management Online Marketing April 14
  3. 3. © etracker GmbH 3 1 Jahr nach dem Relaunch Produkt Management Website Management Online Marketing April 14
  4. 4. © etracker GmbH 4 Unsere Protagonisten  Alexander  32 Jahre  Master Betriebswirtschaft  Online Marketing Manager  Neu bei Online ElectroniX  Barbara  34 Jahre  Medienfachwirtin  Online Marketing Manager  Seit 4 Jahren bei Online ElectroniX  Expertin für Web-Controlling April 14
  5. 5. © etracker GmbH 5 Alexanders erster Tag April 14
  6. 6. User Experience- Analyse Marketing- Analyse Web-Controlling 6© etracker GmbH Wie wirken Kampagnen? Was passiert auf meiner Website? Wie passiert es? Warum passiert es? Web-Analyse Zufriedenheits- analyse April 14
  7. 7. © etracker GmbH 7 Web-Controlling Marketing-Abteilung  Analyse der Website  Ableitung von Optimierungsempfehlungen Analysieren Optimieren IT-Abteilung  Umsetzung der Optimierungsempfehlungen April 14 User Experience- Analyse Marketing- Analyse Wie wirken Kampagnen? Was passiert auf meiner Website? Wie passiert es? Warum passiert es? Web-Analyse Zufriedenheits- analyse
  8. 8. © etracker GmbH 8 … aber sollten wir unsere Ideen nicht erst testen? April 14
  9. 9. © etracker GmbH 9 Web-Controlling Analysieren Optimieren April 14
  10. 10. Web-Controlling 10© etracker GmbH Analysieren Testen Optimieren April 14
  11. 11. © etracker GmbH 11 Wie soll das funktionieren ? April 14
  12. 12. © etracker GmbH 12 A/B-Testing aber richtig April 14
  13. 13. © etracker GmbH 13 A/B-Testing aber richtig Ohne Test keine Optimierung Ohne Hypothese kein Test Ohne Problemanalyse kein Test Ohne Psychologie kein Test Ohne Mikro-Konversionen kein Test Ohne Multi-KPI-Analyse kein Test Ohne User Experience-Analyse kein Test Ohne Segmentierung kein Test Lektion 1 April 14
  14. 14. © etracker GmbH 14 Was ist ein A/B-Test? 1000 Besucher Original Variante 50 %50 % Online ElectroniX Jetzt kaufen Online ElectroniX 20 % Rabatt Jetzt kaufen April 14
  15. 15. © etracker GmbH 15 A/B-Testing aber richtig Ohne Test keine Optimierung Ohne Hypothese kein Test Ohne Problemanalyse kein Test Ohne Psychologie kein Test Ohne Mikro-Konversionen kein Test Ohne Multi-KPI-Analyse kein Test Ohne User Experience-Analyse kein Test Ohne Segmentierung kein Test Lektion 2 April 14
  16. 16. Bevor man testet: Hypothesen aufstellen! 16 Eine Hypothese setzt sich aus drei Komponenten zusammen: (1) Problemstellung (2) Optimierungsvorschlag (3) Erwartetes Ergebnis des Optimierungsvorschlags Wenn ............ durch ............ verändert wird, dann erreichen wir eine Optimierung der ............ ! © etracker GmbH “ 1 2 3 ? April 14
  17. 17. © etracker GmbH 17 A/B-Testing aber richtig Ohne Test keine Optimierung Ohne Hypothese kein Test Ohne Problemanalyse kein Test Ohne Psychologie kein Test Ohne Mikro-Konversionen kein Test Ohne Multi-KPI-Analyse kein Test Ohne User Experience-Analyse kein Test Ohne Segmentierung kein Test Lektion 3 April 14
  18. 18. Probleme identifizieren: Web-Analyse Daten 18  Was sind typische Einstiegsseiten?  Auf welchen Seiten gibt es die meisten Bouncer?  Was sind typische Ausstiegsseiten?  Welche Traffic-Quelle liefert die niedrigste Klick to Sale- Konversion? © etracker GmbHApril 14
  19. 19. © etracker GmbH 19 Probleme identifizieren: Sales-Funnel Werbemittel Landingpage / Startseite Produktseite Warenkorb Bestellprozess Bestellung abgeschickt  An welchen Stellen im Sales-Funnel brechen die meisten Besucher weg? April 14
  20. 20. Probleme identifizieren: User Experience-Analyse 20  Gibt es auffällige Mausbewegungen auf einer bestimmten Seite?  Werden wichtige Elemente einer Website nicht betrachtet?  Scrollen die Besucher nicht zum entsprechenden Call-to- Action? © etracker GmbHApril 14
  21. 21. © etracker GmbH 21 Probleme identifizieren: Formularanalyse  Wie viele Besucher interagieren mit dem Formular?  Wie viele schicken das Formular ab?  Wie lange benötigen Besucher pro Feld?  Bei welchen Feldern brechen sie ab? April 14
  22. 22. Probleme identifizieren: Besucherfeedback 22  Was sagen die Nutzer über die User Experience auf der Website?  Gibt es Probleme, die Nutzer immer wieder anmerken? © etracker GmbHApril 14
  23. 23. © etracker GmbH 23 Ideen für Tests ableiten: Was sollte man für einen Test verändern? One step at a time  Headlines  Seitenlayout  Navigation  Copy-Texte  Das konkrete Angebot an den Kunden  Design und Text von Call-to-Actions  Unterschiedliche Medienarten wie Videos oder Bildergalerien … oder auch radikale Änderungen Online ElectroniX Jetzt kaufen April 14
  24. 24. © etracker GmbH 24 A/B-Testing aber richtig Ohne Test keine Optimierung Ohne Hypothese kein Test Ohne Problemanalyse kein Test Ohne Psychologie kein Test Ohne Mikro-Konversionen kein Test Ohne Multi-KPI-Analyse kein Test Ohne User Experience-Analyse kein Test Ohne Segmentierung kein Test Lektion 4 April 14
  25. 25. © etracker GmbH 25 Ideen für Tests ableiten: Grundlagen der Persuasion Besucher überzeugen April 14
  26. 26. © etracker GmbH 26 Ideen für Tests ableiten: Grundlagen der Persuasion  Künstliche Verknappung April 14
  27. 27. © etracker GmbH 27 Ideen für Tests ableiten: Grundlagen der Persuasion  Soziale Erwünschtheit April 14
  28. 28. © etracker GmbH 28 Ideen für Tests ableiten: Grundlagen der Persuasion  Commitment und Konsistenz April 14
  29. 29. © etracker GmbH 29 Ideen für Tests ableiten: Grundlagen der Persuasion  Begrenzte Auswahl April 14
  30. 30. © etracker GmbH 30 Ideen für Tests ableiten: Grundlagen der Persuasion  Begeisterung Und noch einen oben drauf… April 14
  31. 31. © etracker GmbH 31 Alexander hat hierzu mal ein Beispiel… April 14
  32. 32. © etracker GmbH 32 Beispiel: Warenkorb Vorher (ohne Optimierung) April 14
  33. 33. © etracker GmbH 33 Beispiel: Warenkorb Vorher Nachher April 14
  34. 34. © etracker GmbH 34 Beispiel: Warenkorb Vorher Nachher April 14
  35. 35. © etracker GmbH 35 Beispiel: Warenkorb Vorher Nachher April 14
  36. 36. © etracker GmbH 36 Beispiel: Warenkorb Vorher Nachher April 14
  37. 37. © etracker GmbH 37 Beispiel: Warenkorb Vorher Nachher April 14
  38. 38. © etracker GmbH 38 Beispiel: Warenkorb Vorher Nachher April 14
  39. 39. Vorher Beispiel: Warenkorb 39 1. Klarer und einziger Call-to-Action 2. Übersichtlicher Produktbereich 3. Dynamische Promotionbox für jede Situation 4. Sichtbare Versand- und Gesamtkosten 5. Fokus liegt auf dem KOSTENLOSEN Geschenk 6. Häkchen wecken positive Assoziationen 7. Gutschein-Code rückt in den Hintergrund 8. Vertrauen und Flexibilität der Zahlung werden herausgestellt 9. Call-to-Action wird noch einmal wiederholt © etracker GmbH Nachher 1 2 3 4 5 6 7 8 9 April 14
  40. 40. Und wie kann man das Ganze auf Online ElectroniX übertragen? 40© etracker GmbHApril 14
  41. 41. Eine Hypothese setzt sich aus drei Komponenten zusammen: (1) Problemstellung (2) Optimierungsvorschlag (3) Erwartetes Ergebnis des Optimierungsvorschlags Wenn auf den Produktseiten der Call-to-Action auffälliger dargestellt und mit einem konkreten Angebot versehen wird, dann wird die Click-Sale- Conversion steigen! Unsere Hypothese für die Produktseiten 41© etracker GmbH “ 1 2 3 ? April 14
  42. 42. © etracker GmbH 42 Verschiedene Varianten testen Online ElectroniX Jetzt kaufen Original Online ElectroniX 20 % Rabatt Jetzt kaufen Online ElectroniX Jetzt kaufen Online ElectroniX Jetzt kaufen 20 % Rabatt Variante A Variante B Variante C April 14
  43. 43. © etracker GmbH 43 Verschiedene Varianten testen  Nicht zu viele Varianten mit zu vielen Änderungen testen Online ElectroniX 20 % Rabatt Jetzt kaufen Online ElectroniX Jetzt kaufen Online ElectroniX Jetzt kaufen 20 % Rabatt Variante A Variante B Variante C April 14
  44. 44. © etracker GmbH 44 A/B-Testing aber richtig Ohne Test keine Optimierung Ohne Hypothese kein Test Ohne Problemanalyse kein Test Ohne Psychologie kein Test Ohne Mikro-Konversionen kein Test Ohne Multi-KPI-Analyse kein Test Ohne User Experience-Analyse kein Test Ohne Segmentierung kein Test Lektion 5 April 14
  45. 45. © etracker GmbH 45 Die Wahl des Konversionsziels Produkt- übersicht Produkt gesehen Produkt in den Warenkorb gelegt Produkt gekauft  Kürzere Konversionsziele sind aussagekräftiger als längere April 14
  46. 46. © etracker GmbH 46 A/B-Testing aber richtig Ohne Test keine Optimierung Ohne Hypothese kein Test Ohne Problemanalyse kein Test Ohne Psychologie kein Test Ohne Mikro-Konversionen kein Test Ohne Multi-KPI-Analyse kein Test Ohne User Experience-Analyse kein Test Ohne Segmentierung kein Test Lektion 6 April 14
  47. 47. © etracker GmbH 47 Multi-KPI-Analyse 8,75% 11,67 % 1.200 1.200 105 140 Konversionsrate Besucher Bestellungen Original Variante A  Der Erfolg eines Tests sollte nicht alleine anhand der Konversionsrate beurteilt werden April 14
  48. 48. © etracker GmbH 48 Multi-KPI-Analyse: Weitere Kennzahlen Ø Durchschnittlicher Warenkorbumsatz Umsatz und Ergebnis Berücksichtigung von Retouren Berücksichtigung der Customer Journey Berücksichtigung des Customer Lifetime Value u.v.m. April 14
  49. 49. © etracker GmbH 49 A/B-Testing aber richtig Ohne Test keine Optimierung Ohne Hypothese kein Test Ohne Problemanalyse kein Test Ohne Psychologie kein Test Ohne Mikro-Konversionen kein Test Ohne Multi-KPI-Analyse kein Test Ohne User Experience-Analyse kein Test Ohne Segmentierung kein Test Lektion 7 April 14
  50. 50. Testergebnisse auswerten: User Experience-Analyse 50  Wie hat sich das Besucherverhalten der Variante im Vergleich zum Original geändert? © etracker GmbHApril 14
  51. 51. © etracker GmbH 51 A/B-Testing aber richtig Ohne Test keine Optimierung Ohne Hypothese kein Test Ohne Problemanalyse kein Test Ohne Psychologie kein Test Ohne Mikro-Konversionen kein Test Ohne Multi-KPI-Analyse kein Test Ohne User Experience-Analyse kein Test Ohne Segmentierung kein Test Lektion 8 April 14
  52. 52. © etracker GmbH 52 Analyse des A/B-Tests über alle Besucher 11,67 % 8,75 %Original Variante A April 14
  53. 53. © etracker GmbH 53 Analyse des A/B-Tests nach verschiedenen Segmenten 9,56 % 9,23 % Original Variante A8,68 % 10,30 % 12,15% 8,83% 12,68 % 7,52% Segment 1 Segment 2 Segment 3 Segment 4 April 14
  54. 54. Segmentieren nicht vergessen 54  A/B-Test sollten nicht nur über alle Besucher ausgewertet werden  Einflussfaktoren können z.B. auch sein  Einstiegsseite  Medium  Kampagne  Herkunft  Keyword © etracker GmbHApril 14
  55. 55. © etracker GmbH 55 Fazit: A/B-Testing aber richtig Ohne Test keine Optimierung Ohne Hypothese kein Test Ohne Problemanalyse kein Test Ohne Psychologie kein Test Ohne Mikro-Konversionen kein Test Ohne User Experience-Analyse kein Test Ohne Multi-KPI-Analyse kein Test Ohne Segmentierung kein Test April 14
  56. 56. © etracker GmbH 56 Und die Moral von der Geschicht … … Analysieren und Optimieren geht ohne Testen nicht. April 14
  57. 57. Kommen Sie an unserem Stand vorbei etracker Academy in Österreich Oktober 2014 Jetzt Infos am Stand erhalten!
  58. 58. Mirja Bettels Senior Partner Manager Tel: +49 40 55 56 59 54 Fax: +49 40 55 56 59 59 bettels@etracker.com etracker GmbH Erste Brunnenstraße 1 20459 Hamburg © etracker GmbHApril 14 58 Ihr persönlicher Ansprechpartner

×