Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Integrating Testing & Optimization into your Digital Marketing Efforts

659 Aufrufe

Veröffentlicht am

A/B and multivariate testing are powerful approaches to improve the customer experience and business effectiveness of your digital marketing efforts. But before you can get started, your organization must embrace a data-driven marketing mindset. Learn what it takes to get there and how to get started with testing.

Veröffentlicht in: Business, Technologie
  • This is the first blog post in a series provides an insight into testing and optimization that will help improve your website's performance through A/B Testing. Stay tuned for more. http://bit.ly/2LnweVg
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

Integrating Testing & Optimization into your Digital Marketing Efforts

  1. 1. TESTING, TESTING:IS THIS THING ON?Integrating Testing & Optimization into your Digital Marketing Efforts Kate McRoberts, Evantage Consulting   © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 1
  2. 2. © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 2
  3. 3. I AM A HERO!http://s183.photobucket.com/profile/gruaig_rua/index © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 3
  4. 4. @ @kmcrobertswww.evantageconsulting.com  © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 4
  5. 5. Let’s start with a case study…. y How one organization made $60 Million  by running a simple experiment.   y g p p © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 5
  6. 6. The Question.How can we convert site visitors to give us their email address? The Key Metric.Email signup rate. g p © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 6
  7. 7. Experiment tested  two parts of the  splash page: splash page:© 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 7
  8. 8. Elements Tested Media areaMedia area • Images and VideosButtons 6 media x 4 buttons = 24 combinations © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 8
  9. 9. The Winner Family image with  y g“Learn More” button.• Sign up rate: 11.6% (vs.  g ) 8.26%  original)• 40.6% sign up rate  improvement © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 9
  10. 10. ResultsRes lts• “Roughly 10 million people signed up on the splash page during the  campaign. If we hadnt run this experiment and just stuck with the  original page that number would be closer to 7,120,000 signups. Thats a  difference of 2,880,000 email addresses”• “Each email address that was submitted through our splash page ended  up donating an average of $21 during the length of the campaign. The  additional 2,880,000 email addresses on our email list translated into an  additional $60 million in donations.” http://blog.optimizely.com/how-obama-raised-60-million-by-running-an-exp http://blog optimizely com/how-obama-raised-60-million-by-running-an-exp © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 10
  11. 11. The Lessons.  • Simple tests can make a BIG impact• What YOU think is going to win, may not  ACTUALLY win © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 11
  12. 12. How do I get started optimization?H d I t t t d ti i ti ? © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 12
  13. 13. Who took Psych 101? © 2011 EVANTAGE CONSULTING 13
  14. 14. MASLOW © 2011 EVANTAGE CONSULTING 14
  15. 15. morality, creativity,  spontaneity, problem  spontaneity problem solving, lack of prejudice self ‐ actualization esteem (confidence, respect) love/belonging (friendship, family) Safety (security of body, resources, employment) Physiological (air, water, food)HEIRARCHY OF NEEDS © 2011 EVANTAGE CONSULTING 15
  16. 16. Testing &  Optimization! self ‐ actualization esteem (confidence, respect) love/belonging (friendship, family) Safety (security of body, resources, employment) Physiological (air, water, food)HEIRARCHY OF NEEDS © 2011 EVANTAGE CONSULTING 16
  17. 17. Hierarchy of Needs for the Modern Marketer  testing & optimization style © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 17
  18. 18. But first, a few words about data… © 2011 EVANTAGE CONSULTING 18
  19. 19. Consider this staggering statistic… gg g“ We now create as much information  W t hi f ti every two days as we did from the dawn  of civilization until 2003. - Eric Schmidt, CEO, Google http://techcrunch.com/2010/08/04/schmidt-data/ © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 19
  20. 20. © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 20
  21. 21. © 2011 EVANTAGE CONSULTING 21
  22. 22. © 2011 EVANTAGE CONSULTING 22http://www.mamapop.com/2011/07/facebook-skype-chat-feature-debuts-to-thunderous-shrugs.html/sad-trombone
  23. 23. Marketing organizations everywhere are struggling with what to do with all this data.  ith h t t d ith ll thi d t1,700 CMO’s consistently ranked  “Data Explosion” as the #1 “pervasive, universal, game changer” challenge to be addressed.be addressed IBM Global CMO Study 2011 http://www-935.ibm.com/services/us/cmo/cmostudy2011/cmo-registration.html © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 23
  24. 24. “ Data was once the domain of tech geeks and direct‐marketing  gurus, while chief marketing officers focused on loftier things  like shaping brand perception. But those days are over.   Thanks to an explosion of data …CMOs who want a seat at  the table will have to harness customer data and leverage it ‐‐ or risk being relegated to chief promotions officer. ‐ AdAge 2/13/2012 “When CMO’s Love to Learn Data, They  will be VIP’s in the C‐Suite” http://adage.com/article/cmo-strategy/cmos-learn-love-data-c- © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 24 suite-vips/232699/
  25. 25. Hierarchy of Needs for the Modern Marketer  i h f d f h d k testing & optimization style © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 25
  26. 26. at I have a website.  I send emails.  Hierarchy of Needs for the Modern Marketer © 2011 EVANTAGE CONSULTING 26 testing & optimization style
  27. 27. I have web analytics.  I see standard reports. I have a website.  I send emails. Hierarchy of Needs for the Modern Marketer © 2011 EVANTAGE CONSULTING 27 testing & optimization style
  28. 28. We have defined KPIs. We track them  regularly.  We can spot issues. I have web analytics.  I see standard reports. I have a website.  I send emails. Hierarchy of Needs for the Modern Marketer © 2011 EVANTAGE CONSULTING 28 testing & optimization style
  29. 29. Analysis.  Insights.  We take action on the data. We have defined KPIs. We track them  regularly.  We can spot issues. I have web analytics.  I see standard reports. I have a website.  I send emails. Hierarchy of Needs for the Modern Marketer © 2011 EVANTAGE CONSULTING 29 testing & optimization style
  30. 30. Optimization.  Analysis.  Insights.  We take action on the data. We have defined KPIs. We track them  regularly.  We can spot issues. I have web analytics.  I see standard reports. I have a website.  I send emails. Hierarchy of Needs for the Modern Marketer © 2011 EVANTAGE CONSULTING 30 testing & optimization style
  31. 31. A/B and Multivariate Testing / g © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 31
  32. 32. A/B and Multivariate Testing / gHow it works.   How it works.1Add a line of code to your site.  © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 32
  33. 33. A/B and Multivariate Testing / gHow it works.   How it works.1 2Add a line  Set up of code to  rules you your site.  want your  test to  follow. © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 33
  34. 34. A/B and Multivariate Testing / gHow it works.   How it works.1 2 3Add a line  Set up  Set up of code to  rules you  challengers. your site.  want your  test to  follow. © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 34
  35. 35. A/B and Multivariate Testing / gHow it works.   How it works.1 2 3 4Add a line  Set up  Set up  Launch test!of code to  rules you  challengers. your site.  want your  test to  follow. © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 35
  36. 36. A/B and Multivariate Testing / gHow it works.   How it works.1 2 3 4 5Add a line  Set up  Set up  Launch test! Run until of code to  rules you  challengers.  statistical your site.  want your  significance  test to  achieved.  follow. © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 36
  37. 37. Bonus question! qWho knows the formula for statistical significance? Who knows the formula for statistical significance? * * May or may not be the actual formula. But it sure looks scary, right? Good thing the tool scary calculates this for us. © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 37
  38. 38. A/B and Multivariate Testing / gHow it works.   How it works.1 2 3 4 5 6Add a line  Set up  Set up  Launch test! Run until  Full scale of code to  rules you  challengers.  statistical  winnersyour site.  want your  significance  test to  achieved.  follow. © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 38
  39. 39. A/B vs. MVT ‐‐ When to use which kind. /Use A/B testing when you want to…Use A/B testing when you want to… • Get started  with testing  • Get results quickly ‐ smaller sample size to achieve statistical significance  • Test dramatic changes/radical redesigns – e.g. does design A work better than design B?  Use Multivariate testing when you want to… • Increase your level of sophistication  Increase your level of sophistication • Test multiple elements on the same page • To understand how different page elements interact with each other  • To isolate impact of different elements p • Drive incremental improvements, “fine tune“ © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 39
  40. 40. Examples.  p © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 40
  41. 41. Examples. p What if… Instead of this style of navigation y g © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 41
  42. 42. A/B / Let’s try a fly out menu © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 42
  43. 43. A/B / What if…. Instead of manually moving your  cursor over to find new topics © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 43
  44. 44. A/B / Let’s try automatically rotating  the banners th b © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 44
  45. 45. A/B /Instead of a hero image I t d f h ithat is this size…. © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 45
  46. 46. A/B /We tried a smaller one that introduces We tried a smaller one that introducesmore content above the page fold © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 46
  47. 47. Or what if we tested them all at the same time?  Fly‐out menu Using a Multivariate Testing  tool allows us to see how Smaller hero image each of these elements  contributes to the most  Rotating banner Rotating banner effective combination. effective combination © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 47
  48. 48. HealthSavingsCheckup.com g p © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 48
  49. 49. How does it work? Step 1 – Enter basic information Step 2 – Health history St 2 H lth hi t Step 3 – Financial information Step 4  View results Step 4 – View results Step 5 – Take action © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 49
  50. 50. What’s driving abandonment?  How can we deepen engagement and action? H d t d ti ?Analytics review and usability testing to diagnose issues and understand reasons why. yFindings showed opportunity for A/B testing:  • Call to action on myUHC.com • Field labels • Field‐level validation • Results page redesign Results page redesign © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 50
  51. 51. Tools – Entry Level y These tools can be used for free! © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 51
  52. 52. Tools – Mid Tier © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 52
  53. 53. Tools – Enterprise p © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 53 http://www.whichmvt.com/
  54. 54. Want to get to the top of the pyramid?  W tt t t th t f th id? We have seen people get stuck at the various  levels.   Why?   y CHANGE © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 54
  55. 55. Change.  gThis is a mindset shift.  And a commitment to a new This is a mindset shift. And a commitment to a newprocess.   Individual advocates alone won’t succeed.Change tips:  • Create compelling vision for the future • Have clear and visible sponsorship to champion it • Create small wins and communicate the heck out of them • Find your change advocates and embrace them Find your change advocates and embrace them • Demonstrate tangible benefits to the business  © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 55
  56. 56. http://s183.photobucket.com/profile/gruaig_rua/index © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 56
  57. 57. Thank you! Want a copy of the deck? @ @kmcroberts kmcroberts@evantageconsulting.com © 2012 EVANTAGE CONSULTING © 2011 EVANTAGE CONSULTING 57

×