Konversionsrate steigern
durch Multivariates Testing
Claudia Strauch
Senior Web Analytics Consultant
contentmetrics GmbH
c...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Das Unternehmen contentmetrics
• contentmetrics ist Spezialist für
 ...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Unabhängige & neutrale Beratung
• Wir arbeiten als Dienstleister im A...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Einige Kunden ...
Retail Social Media
High Tech
Media
eCommerce Trave...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13
Agenda
• Testing Grundlagen
• Unterschied multivariater Test...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13
Agenda
• Testing Grundlagen
• Unterschied multivariater Test...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13
Testing Grundlagen - Warum Testing?
• … zur Überprüfung von ...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Ein Test zum Testen
• Ein Beispiel von webanalysts.info
http://www.sl...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Die überraschend(st)en Ergebnisse …
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Version 1 um 49% mehr Abschlüsse auf dem mittleren Angebot als Versio...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
• Mama ist die Beste … ?
• Und der Affe auf Platz drei … ?
Uuups …
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 17
Testing Grundlagen – Testgegenstand
• Ganze Seite (Page) ...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 18
Testing Grundlagen - Vorgehen
 Jeder Besucher wird einde...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 19
Testing Grundlagen - Regeln
•Innere und äußere Faktoren s...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 20
Testing Grundlagen - Voraussetzungen
• Valides Messsystem...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Testing Grundlagen - Aufwände
• Never overstimate the underestimation...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 22
Agenda
• Testing Grundlagen
• Unterschied multivariater T...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 23
Unterschied multivariater Test und A/B-Test (1)
• In eine...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 24
Unterschied multivariater Test und A/B-Test (2)
• In eine...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 25
Unterschied multivariater Test und A/B-Test
• A/B bzw. A/...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 26
Agenda
• Testing Grundlagen
• Unterschied multivariater T...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Taguchi
• Viele Kombinationen erfordern viel Traffic
• Die Taguchi-Me...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 28
Agenda
• Testing Grundlagen
• Unterschied multivariater T...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Bedingungen für multivariate Tests
• Gleiches Konversionsziel (z.B. e...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 30
Agenda
• Testing Grundlagen
• Unterschied multivariater T...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Der Testplan
 Was wird getestet?
 Warum wird getestet? / Was ist da...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Mögliche Thesen
• „Das neue Design ist besser“
• „Unsere Kunden kaufe...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Beispiele für mögliche Varianten
• Verschiedene Preise
• Preisnachläs...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Fehler bei der Variantenerstellung
• Grundsatz:
Unterscheiden sich di...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Testzeitraum und Messzeitraum
• Vorlauf: Gefühl für die Ergebnisse be...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Der Testplan
 Was wird getestet?
 Warum wird getestet? / Was ist da...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Mögliche Abbruchbedingungen
• Die Konversionsrate einer Kombination w...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Metriken und KPI
• Registrierungen
• Vertragsabschlüsse
• Warenkorbwe...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Mögliche Segmente
• Zufall (keine Segmentierung)
• SEM-Traffic vs. no...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Der Testplan
 Was wird getestet?
 Warum wird getestet? / Was ist da...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 41
Agenda
• Testing Grundlagen
• Unterschied multivariater T...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Auswertung
14.08.13 42
Signifikanz
Konversionsrate und
Änderung zur
V...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 43
Agenda
• Testing Grundlagen
• Unterschied multivariater T...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Exkurs: Signifikanz
• Was bedeutet „Signifikanz“?
• Signifikanz besch...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 45
Signifikanz und Relevanz
Signifikanz
Relevanz
Fokus
Irrel...
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 46
Vielen Dank!
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 4714.08.13 47
Kontaktdaten
Claudia Strauch
claudia.strauch@c...
Nächste SlideShare
Wird geladen in …5
×

Web Analytics Day bvh Multivariates Testen (2010-10-26)

430 Aufrufe

Veröffentlicht am

Vortrag von contentmetrics auf dem bvh Web Analytics Day 2010 zum Thema "Multivariates Testen"

Veröffentlicht in: Business
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
430
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
2
Aktionen
Geteilt
0
Downloads
5
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Web Analytics Day bvh Multivariates Testen (2010-10-26)

  1. 1. Konversionsrate steigern durch Multivariates Testing Claudia Strauch Senior Web Analytics Consultant contentmetrics GmbH claudia.strauch@contentmetrics.de
  2. 2. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Das Unternehmen contentmetrics • contentmetrics ist Spezialist für  Auswahl und Integration von Web Analytics Lösungen  Auswertung von Web Analytics Daten mit den Zielen:  Effizienzsteigerung von Online-Marketing-Kampagnen  Betriebswirtschaftliche Auswertung von Online Aktivitäten • 2003 als inhabergeführtes Dienstleistungs- und Beratungshaus gegründet  Standorte sind Haar bei München und Hamburg  Derzeit sind 11 Consultants und insg. 14 Mitarbeiter für contentmetrics tätig • Wir betreuen ca. 70 aktive Kunden mit Reichweiten von 1 Million bis > 2 Milliarden Page Views im Monat
  3. 3. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Unabhängige & neutrale Beratung • Wir arbeiten als Dienstleister im Auftrag unserer Kunden:  Systemauswahl  Anpassung von bestehenden Lösungen  Dokumentation von Anforderungen und technischer Umsetzung  Kontinuierliche Betreuung  Analyse und Handlungsempfehlung  1st -Level Support  Implementierung und Qualitätssicherung • Wir sind zertifizierter Partner für Consulting, Support und Implementierung:  Strategische Partnerschaft mit Autonomy  Coremetrics Support DACH  Strategische Partnerschaft mit Econda  Omniture Professional Service Provider  Beratungspartner für Search Analytics – Searchmetrics  Exklusiver Vertrieb von Vertster DACH  Webtrekk Implementation Partner
  4. 4. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Einige Kunden ... Retail Social Media High Tech Media eCommerce Travel Agencies Finance
  5. 5. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 Agenda • Testing Grundlagen • Unterschied multivariater Test und A/B-Test • Taguchi • Bedingungen für multivariate Tests • Der Testplan  Mögliche Thesen  Test- und Messzeitraum  Abbruchbedingungen  Metriken und KPI  Segmente • Auswertung • Signifikanz
  6. 6. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 Agenda • Testing Grundlagen • Unterschied multivariater Test und A/B-Test • Taguchi • Bedingungen für multivariate Tests • Der Testplan  Mögliche Thesen  Test- und Messzeitraum  Abbruchbedingungen  Metriken und KPI  Segmente • Auswertung • Signifikanz
  7. 7. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 Testing Grundlagen - Warum Testing? • … zur Überprüfung von Hypothesen ⇒ nicht mehr schätzen, sondern wissen! • … zur langfristigen Optimierung der Website ⇒ aufgrund des Konversionsverhaltens der Besucher
  8. 8. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Ein Test zum Testen • Ein Beispiel von webanalysts.info http://www.slideshare.net/webanalystsinfo/guess-the-outcome-of-15-ab-tests • 15 Testszenarien mit jeweils zwei Varianten • Ein Panel hatte die Aufgabe, die jeweils erfolgreichste Variante herauszufinden:  Ein Affe  Des Autors Mutter  Ein HiPPO (Highest Paid Person's Opinion)  Ein Usability Experte  Ein Art Director  Ein Web Analyst • Am Ende wurden für jeden die richtigen Antworten (max. 15) gezählt.
  9. 9. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
  10. 10. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
  11. 11. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
  12. 12. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Die überraschend(st)en Ergebnisse …
  13. 13. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
  14. 14. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
  15. 15. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Version 1 um 49% mehr Abschlüsse auf dem mittleren Angebot als Version 2
  16. 16. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg • Mama ist die Beste … ? • Und der Affe auf Platz drei … ? Uuups …
  17. 17. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 17 Testing Grundlagen – Testgegenstand • Ganze Seite (Page) in einer Website  Landing-Page-Tests oder A/B-Tests • Ein einzelnes Element auf einer Seite (Page) in einer Website  A/B- bzw. A/N-Tests  Es gibt verschiedene Varianten für ein Element • Mehrere Elemente auf einer Seite (Page) in einer Website  Multivariate Tests  Es gibt mehrere Elemente bzw. Variablen mit jeweils mehreren Varianten
  18. 18. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 18 Testing Grundlagen - Vorgehen  Jeder Besucher wird eindeutig einer Gruppe zugewiesen  Die verschiedenen Varianten werden anhand von vorher festgelegten Metriken (Konversionen) verglichen und bewertet.  Umsetzen der besseren Alternative € Konversionsrate Gruppe A € Konversionsrate Gruppe BAlternative B Alternative A
  19. 19. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 19 Testing Grundlagen - Regeln •Innere und äußere Faktoren soweit wie möglich ausschließen •Alle Faktoren können das Testergebnis verfälschen! •Beispiele: Kampagnen, Änderungen an der Webseite, etc.
  20. 20. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 20 Testing Grundlagen - Voraussetzungen • Valides Messsystem • Test- und messbare Thesen • Geeignete Alternativen • Hinreichende Anzahl an Probanden • Reproduzierbarer Testaufbau • Abgrenzung aller Einflussfaktoren
  21. 21. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Testing Grundlagen - Aufwände • Never overstimate the underestimation ....  Insbesondere nicht beim technischen Setup! • Kreativität  Haben Sie bitte vier Ideen… Jetzt. • Planung  Die meisten Tests scheitern nicht an der Technik oder an den Ideen, sondern an einer nicht strukturierten und koordinierten (!!) Umsetzung • Konsequenz  Wenn ein Ergebnis vorliegt, handeln Sie danach!  Vielfach wird das Testergebnis ignoriert, weil es politisch "unangenehm" ist 30% 20% 30% 20%
  22. 22. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 22 Agenda • Testing Grundlagen • Unterschied multivariater Test und A/B-Test • Taguchi • Bedingungen für multivariate Tests • Der Testplan  Mögliche Thesen  Test- und Messzeitraum  Abbruchbedingungen  Metriken und KPI  Segmente • Auswertung • Signifikanz
  23. 23. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 23 Unterschied multivariater Test und A/B-Test (1) • In einem A/B- bzw. A/N-Test wird ein Element mit zwei oder mehr (N) Varianten getestet.
  24. 24. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 24 Unterschied multivariater Test und A/B-Test (2) • In einem multivariaten Test (MVT) werden mehrere Elemente mit zwei oder mehr Varianten getestet.
  25. 25. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 25 Unterschied multivariater Test und A/B-Test • A/B bzw. A/N-Test: 1 Element mit 2 oder N Varianten  Man braucht also 2 oder N Gruppen  Das bedeutet, der Besucherstrom wird in 2 oder N Teile geteilt • Multivariater Test (MVT): N Elemente mit 2 oder N Varianten  Man bräuchte bei 4 Elementen und jeweils 3 Varianten 34 Gruppen = 81 Gruppen  Das bedeutet, der Besucherstrom muss in 81 Teile geteilt werden. Das könnte zu sehr kleinen Testgruppen und zu nicht mehr signifikanten Ergebnissen führen.
  26. 26. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 26 Agenda • Testing Grundlagen • Unterschied multivariater Test und A/B-Test • Taguchi • Bedingungen für multivariate Tests • Der Testplan  Mögliche Thesen  Test- und Messzeitraum  Abbruchbedingungen  Metriken und KPI  Segmente • Auswertung • Signifikanz
  27. 27. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Taguchi • Viele Kombinationen erfordern viel Traffic • Die Taguchi-Methode verringert mit einer statistischen Berechnung die Anzahl der zu testenden Kombinationen: 14.08.13 27 A/B- bzw. A/N-Test MVT (Taguchi) 4 Elemente / 3 Varianten 81 Kombinationen 9 Kombinationen im Test 5 Elemente / 4 Varianten 1024 Kombinationen 16 Kombinationen im Test „Versuchspläne nach Taguchi sind im wesentlichen Teilfaktorpläne (engl. fractional factorial designs), das heißt, es werden nicht alle möglichen Kombinationen von Faktorstufen durchgespielt, sondern nur eine genau ausgewählte Teilmenge.“ (Quelle: Wikipedia, Taguchi-Methode)
  28. 28. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 28 Agenda • Testing Grundlagen • Unterschied multivariater Test und A/B-Test • Taguchi • Bedingungen für multivariate Tests • Der Testplan  Mögliche Thesen  Test- und Messzeitraum  Abbruchbedingungen  Metriken und KPI  Segmente • Auswertung • Signifikanz
  29. 29. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Bedingungen für multivariate Tests • Gleiches Konversionsziel (z.B. ein Vertragsabschluss) für jedes Element damit man es vergleichen kann • Eine Kombination als Vergleichsgröße; in der Regel der bisherige Seiteninhalt ("Default Content„) • Alle anderen Ergebnisse werden damit verglichen und bewertet 14.08.13 29
  30. 30. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 30 Agenda • Testing Grundlagen • Unterschied multivariater Test und A/B-Test • Taguchi • Bedingungen für multivariate Tests • Der Testplan  Mögliche Thesen  Test- und Messzeitraum  Abbruchbedingungen  Metriken und KPI  Segmente • Auswertung • Signifikanz
  31. 31. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Der Testplan  Was wird getestet?  Warum wird getestet? / Was ist das Ziel des Tests?  Wie lautet die These?  Wann möchten Sie die Ergebnisse haben?  Wann wird getestet bzw. gemessen?  Was ist die bzw. sind die Abbruchbedingungen?  Welche Messeinheiten und KPIs werden verwendet?  Welche Segmente werden getestet bzw. gemessen?  Welche Randbedingungen (Kampagnen, IT, etc.) können den Test beeinflussen?  Welche Abteilungen sind betroffen?  Welche internen und externen Ressourcen werden benötigt?  Wer aus dem Management fordert den Test an? 14.08.13 31
  32. 32. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Mögliche Thesen • „Das neue Design ist besser“ • „Unsere Kunden kaufen unsere Produkte aufgrund unseres technischen Vorsprungs“ • „Wenn die E-Mailadresse ein Pflichtfeld ist, hemmt das die Konversion“ • „Wenn bei nicht ausgefülltem E-Mailfeld eine Fehlermeldung kommt, hemmt das die Konversion“ • „Männer klicken Frauenbilder, Frauen klicken Männerbilder“ • „Für wiederkehrende Besucher funktioniert Design A besser.“ 14.08.13 32
  33. 33. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Beispiele für mögliche Varianten • Verschiedene Preise • Preisnachlässe in % gegen € • Verschiedene (Button-)Designs • Den Content gemäß der SEM-Suchbegriffe gestalten • Promotions in E-Mailkampagnen • „Call to Action“ Funktionen • Werbegeschenke (z.B. verschiedene Incentives testen) • Radikale Vereinfachungen • Verschiedene Texte 14.08.13 33
  34. 34. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Fehler bei der Variantenerstellung • Grundsatz: Unterscheiden sich die Varianten nicht signifikant voneinander, so werden sich auch die Testergebnisse nicht signifikant voneinander unterscheiden. • Denken Sie radikal:  Sie wissen nicht, was Ihre Besucher bevorzugen.  Interne Denk- und Sichtweisen müssen nicht zwingend die der Besucher sein  Betriebsblindheit verhindert eine optimale Zielerreichung  Das Corporate Design folgt nicht zwingend den Regeln eines optimalen User-Interface- Designs  Die Erfahrung zeigt: Featuritis in der Website erfreut Vorstände und verwirrt Besucher
  35. 35. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Testzeitraum und Messzeitraum • Vorlauf: Gefühl für die Ergebnisse bekommen; Konversionen aus dieser Zeit (rot) nicht mitberücksichtigen • Testzeitraum: mindestens ein durchschnittlicher Konversionszeitraum • Nach Testende: eine durchschnittliche Konversionszeitraumlänge messen, dann erst auswerten; alle Konversionen aus Testzeitraum (grün) mitberücksichtigen 14.08.13 3 Durchschnittlicher Konversionszeitraum Testzeitraum Durchschnittlicher Konversionszeitraum Messzeitraum Vorlauf Durchschnittlicher Konversionszeitraum € € €€ €
  36. 36. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Der Testplan  Was wird getestet?  Warum wird getestet? / Was ist das Ziel des Tests?  Wie lautet die These?  Wann möchten Sie die Ergebnisse haben?  Wann wird getestet bzw. gemessen?  Was ist die bzw. sind die Abbruchbedingungen?  Welche Messeinheiten und KPIs werden verwendet?  Welche Segmente werden getestet bzw. gemessen?  Welche Randbedingungen (Kampagnen, IT, etc.) können den Test beeinflussen?  Welche Abteilungen sind betroffen?  Welche internen und externen Ressourcen werden benötigt?  Wer aus dem Management fordert den Test an? 14.08.13 36
  37. 37. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Mögliche Abbruchbedingungen • Die Konversionsrate einer Kombination weicht zu stark nach unten von der Vergleichsgröße ab. • Anzahl der Registrierungen sinkt unter einen bestimmten Wert. • Der Umsatz sinkt um X%. ⇒ Ganzen Test stoppen oder nur eine Kombination „ausschalten“ 14.08.13 37
  38. 38. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Metriken und KPI • Registrierungen • Vertragsabschlüsse • Warenkorbwerte • … • Eine der Metriken wir als KPI festgelegt.  Die Ausprägung dieser entscheidet über den Ausgang und die nächsten Schritte • KPI und Metriken vor dem Test festlegen! • Integration mit Web Analytics Tool ermöglicht später weitere Analysen auf weiteren Metriken 14.08.13 38
  39. 39. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Mögliche Segmente • Zufall (keine Segmentierung) • SEM-Traffic vs. normaler Traffic • Adword Gruppe1 vs. Adword Gruppe2 • Produktgruppe1 (Krankenversicherung) vs. Produktgruppe5 (Kredit) • Deutschland vs. Österreich (Geo-Segmentation) • Registrierte vs. nicht registrierte Nutzer • Neue vs. wiederkehrende Besucher • Internetexplorer vs. Firefox • Besucher an Wochentagen vs. Besucher am Wochenende 14.08.13 39
  40. 40. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Der Testplan  Was wird getestet?  Warum wird getestet? / Was ist das Ziel des Tests?  Wie lautet die These?  Wann möchten Sie die Ergebnisse haben?  Wann wird getestet bzw. gemessen?  Was ist die bzw. sind die Abbruchbedingungen?  Welche Messeinheiten und KPIs werden verwendet?  Welche Segmente werden getestet bzw. gemessen?  Welche Randbedingungen (Kampagnen, IT, etc.) können den Test beeinflussen?  Welche Abteilungen sind betroffen?  Welche internen und externen Ressourcen werden benötigt?  Wer aus dem Management fordert den Test an? 14.08.13 40
  41. 41. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 41 Agenda • Testing Grundlagen • Unterschied multivariater Test und A/B-Test • Taguchi • Bedingungen für multivariate Tests • Der Testplan  Mögliche Thesen  Test- und Messzeitraum  Abbruchbedingungen  Metriken und KPI  Segmente • Auswertung • Signifikanz
  42. 42. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Auswertung 14.08.13 42 Signifikanz Konversionsrate und Änderung zur Vergleichsgröße Testteilnehmer „Rezepte“
  43. 43. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 43 Agenda • Testing Grundlagen • Unterschied multivariater Test und A/B-Test • Taguchi • Bedingungen für multivariate Tests • Der Testplan  Mögliche Thesen  Test- und Messzeitraum  Abbruchbedingungen  Metriken und KPI  Segmente • Auswertung • Signifikanz
  44. 44. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg Exkurs: Signifikanz • Was bedeutet „Signifikanz“? • Signifikanz beschreibt die Wahrscheinlichkeit, mit der das Testergebnis reproduzierbar ist. • Die Signifikanz errechnet sich aus der Anzahl der Testteilnehmer, Mittelwerten und Standardabweichung. • Deutlich höhere Abschlüsse bei einer Kombination müssen nicht gleich signifikant sein! 14.08.13 44
  45. 45. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 45 Signifikanz und Relevanz Signifikanz Relevanz Fokus Irrelevant Potential Analyse Interessan t für WA Nicht alle Metriken sind relevant für die Zielerreichung. Nicht alle Segmente sind relevant.
  46. 46. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 46 Vielen Dank!
  47. 47. Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 4714.08.13 47 Kontaktdaten Claudia Strauch claudia.strauch@contentmetrics.de www.contentmetrics.de Telefon +49 (0) 40 / 1804 336 – 14 Mobil +49 (0) 176 / 1021 3692 contentmetrics GmbH Münchner Str. 25 – D-85540 Haar b. München Telefon +49 (0) 89 / 219 65 15 - 0 PC-Fax +49 (0) 89 / 219 65 15 - 16 Spaldingstr. 218 – D-20097 Hamburg Telefon +49 (0) 40 / 1804 336 – 0 PC-FAX +49 (0) 40 / 1804 336 – 16 Office MünchenOffice Hamburg

×