Op de 4e Online Dialogue Donderdag (http://ondi.me/do) op 31 maart 2011 te Utrecht presenteerden Niels Welten (Ecommerce manager van Kras.nl) en Ton Wesseling (Online Dialogue) over een uitgebreid conversie optimalisatie traject op de Kras.nl website.
In deze case informatie over de opzet van de verbetering, de uitvoer en de resultaten. Deze case toont niet alleen het belang van testing aan, maar ook het belang van personalisatie van de website op basis van historisch gedrag.
Wanneer je uitgenodigd wilt worden voor de volgende Online Dialogue Donderdag: geef je dan op voor de wachtlijst!
Keynote on Online Experiments by Ton Wesseling - Online Dialogue at the Web A...
Conversie optimalisatie Kras.nl - Niels Welten (Kras.nl) en Ton Wesseling (Online Dialogue)
1. Conversie case Kras.nl!
Online Dialogue Donderdag 31-03-2011!
Niels Welten - Ecommerce manager Kras.nl!
Ton Wesseling - Online Dialogue !
Geef je bezoekers wat ze zoeken om te boeken!!
3. Achtergrond!
Kras.nl is een bekende en druk bezochte vakantie aanbieder
op het internet. Zij wil op haar website haar bezoekers zo goed
mogelijk van dienst zijn. Om dit te bereiken zal, naast een
goed aanbod, de organisatie moeten leren hoe zij effectief kan
communiceren met haar online bezoekers.!
4. Achtergrond!
Online Dialogue heeft een gestructureerde methodiek die
organisaties inzichten geeft in wat wel en niet effectief is in de
online dialoog met de bezoeker. Daarnaast ondersteunen wij
organisaties in hoe deze inzichten kunnen worden omgezet in
meer rendement en een hogere bezoekers tevredenheid.!
7. Achtergrond!
Hypoth
eses
Ontwerpen
Er is een proof of concept
samenwerking gestart waarbij we
voor 1 pagina (/template) de
impact van een aantal verbeter
hypotheses zijn gaan bepalen.!
Dit document geeft een
samenvatting van het hele traject:
hypotheses -> ontwerp -> testen -
> analyseren -> leren.!
8. Achtergrond!
In de aanpak is het niet
de opzet op een
webpagina ineens heel
veel te wijzigen
(content, design en
interactie) door te
voeren (een redesign),
maar om telkens 1
wijziging op basis van
een hypothese te testen
op waarheid.!
Eerst is er geanalyseerd waar goede verbetering
haalbaar is. Vervolgens heeft een bezoekersenquête
input gegeven voor het formuleren van hypotheses
voor website communicatie verbetering. Op basis van
deze hypotheses zijn er ontwerpen gemaakt die
kunnen gaan worden uitgetest. Dit document bevat de
werkzaamheden tot aan dat moment. !
10. Analyse fase - theorie!
Conversion optimization roadmap!
Management
Goals
4
4
3
Effort-‐gain
Context
3
Knowledge
Objec9ves
2
Employees
2
1
1
0
0
Goals
Tools
Mood
AMtude
Methodology
Personality
In een volledig traject laten we, na een analyse fase, het organisatie en bezoekers
gedrag meewegen in het bepalen van de volgorde van optimaliseren (roadmap).
Welke aanpassing in de organisatie of aan het online kanaal zal naar verwachting
(volgens effort & gain verhouding) het meeste rendement opleveren?!
11. Analyse fase – pagina keuze!
In deze proof-of-concept fase is er geen uitgebreide analyse
fase geweest, maar is er naar een pagina gezocht waar naar
verwachting enerzijds kan worden geleerd welke communicatie
wel of niet werkt bij een bepaalde bezoekersgroep en
anderzijds waar het rendement kan worden verbeterd.!
De keuze is gevallen op de lay-out van de thema
overzichtspaginaʼs, welke te bereiken zijn na het aanklikken
van een soort reis op 1 van de hoofdnavigatie tabbladen.!
12. Analyse fase - pagina keuze!
Uit een interview met Kras.nl blijkt dat de organisatie een grote groep, zeer
trouwe, fans heeft die al jaren met Kras.nl op vakantie gaan. Om verder te
groeien is het doel om ook de internet bezoeker te bereiken die enerzijds wat
jonger is en anderzijds nog niet zo vaak met Kras.nl op vakantie is geweest.
Deze oriënterende bezoekers moeten beter worden geholpen.!
Uit analyse blijkt dat, volgens hun gedrag, oriënterende bezoekers vaak hun
zoektocht beginnen op de thema paginaʼs, maar dat zij significant vaker
direct afhaken op deze pagina dan vaste bezoekers.!
13. Analyse fase - pagina keuze!
De thema pagina is een
waardevolle pagina omdat
hij significant vaker
bijdraagt aan de conversie
dan de gemiddelde pagina. !
We zien kansen in het feit
dat het gedrag op de de
verschillende thema
paginaʼs niet gelijk is en dat
het uitstap percentage per
thema ook flink verschilt.!
De bezoeker vindt
schijnbaar niet altijd wat hij
of zij zocht...!
Kenmerkend aan gedrag op de thema paginaʼs!
14. Analyse fase - enquête!
Op de thema paginaʼs is gedurende een week aan een deel
van de bezoekers gevraagd om medewerking te verlenen aan
een gebruikersonderzoek. Hier hebben wij de bezoekers
gevraagd in welke fase ze zitten (bijvoorbeeld: oriëntatie,
gericht op zoek, koop) en in hoeverre ze tevreden zijn over de
pagina en of men kan vinden wat er wordt gezocht.!
15. Analyse fase - enquête!
+30%!
+77%!
default!
+37%!
Uit de analyse na afloop van de enquête blijkt dat er geen gedragsverschil zit in het
bezoek dat de enquête uitnodiging wel of niet heeft gezien, maar dat het conversie
percentage significant hoger is bij bezoekers die de uitnodiging wel kregen.!
In de conversie van bezoekers die aan de enquête deelnamen of de bezoekers die
niet op de uitnodiging ingingen zit geen significant verschil. Zij vertonen echter wel
een gedragsverschil. De enquête is significant vaker ingevuld door een
terugkerende bezoeker. Het invullen koste gemiddeld 3 minuten en ging niet ten
koste van de tijd gespendeerd aan de Kras.nl website.!
Opmerkelijke enquête effecten !
16. Analyse fase - resultaten!
Niet alle resultaten uit de enquête
zullen in dit document worden
behandeld. Op basis van de enquête
zijn 5 hypotheses ontwikkeld die het
meest waarschijnlijk bijdragen aan
verbetering van de dialoog met de
bezoekers. Een aantal details ten
aanzien van de bezoekers willen we
echter niet onthouden omdat ze
belangrijk zijn voor begrip van de
bezoekers tijdens het ontwerpen van
de pagina variaties.!
17. Analyse fase - resultaten!
N=1966!
63% vrouw, leeftijd 52,8 - man leeftijd: 58,5 !
18. Analyse fase - resultaten!
oriëntatie!
vergelijken!
gericht zoeken!
boeken!
al geboekt!
N=1966!
Bezoek doelen!
19. Analyse fase - resultaten!
N=1966!
70% ging al eerder met Kras op reis!
20. Analyse fase - hypotheses!
Wat gaat leiden tot meer rendement?!
1. Het boven “de vouw” brengen van de
“bestemmingsingang”.!
2. Het scanbaarder maken van de aanbiedingen.!
3. Het zichtbaar maken van “last-minutes”.!
4. Het direct laten zien van bezoekersbeoordelingen.!
5. Het verbeteren van de input mogelijkheden bij de
zoekfunctie.!
6. Extra aandacht voor de verschillende typen vakanties.!
In een workshop is bepaald welke hypothesen op basis van de enquête resultaten
en de webdata het meest waarschijnlijk zullen leiden tot meer rendement. Bekend
was reeds dat er (vanwege doorlooptijd, aantallen bezoekers en te bereiken
significantie) naast de originele variant ruimte was om 9 pagina variaties uit te
testen. Bij de opzet van het aantal hypothesen is daar rekening mee gehouden. !
21. Analyse fase - hypothese 1!
Enquete vraag:!
Hoe belangrijk vindt u de
volgende (bestaande)
webpagina onderdelen?!
Hypothese: Het boven “de
vouw” brengen van de
“bestemmingsingang” leidt
tot meer rendement.!
N=1966!
Bestemmingsingang is heel belangrijk!
22. Analyse fase - hypothese 2!
Hypothese: Het
scanbaarder maken van de
aanbiedingen leidt tot meer
rendement.!
Enquete vraag:!
Hoe belangrijk vindt u de
volgende (bestaande)
N=1966! webpagina onderdelen?!
Aanbiedingen worden gewaardeerd!
23. Analyse fase - hypothese 3!
Hypothese: Het zichtbaar maken van “last-minutes” leidt tot meer rendement.!
De bezoeker kan de last-minutes niet vinden!
24. Analyse fase - hypothese 4!
Hypothese: Het direct laten zien van beoordelingen leidt tot meer rendement.!
De bezoeker wil meer richting bij het zoeken!
25. Analyse fase - hypothese 5!
Enquete vraag:!
Hoe belangrijk vindt u de
volgende (bestaande)
webpagina onderdelen?!
Hypothese: Het verbeteren
van de input mogelijkheden
bij de zoekfunctie leidt tot
meer rendement.!
N=1966!
Huidige zoekfunctie biedt niet de juiste opties!
26. Analyse fase - hypothese 6!
Enquete vraag:!
Hoe belangrijk vindt u de
volgende (bestaande)
webpagina onderdelen?!
Hypothese: Extra
aandacht voor de
verschillende typen
vakanties leidt tot meer
rendement.!
N=1966!
De bezoeker wil een type vakantie kunnen kiezen!
28. Test ontwerpen - Default (v1)!
Bij alle komende 9 pagina variatie ontwerpen is telkens op basis van de
hypotheses 1 wijziging gemaakt aan de thema pagina lay-out. Hierbij is
rekening gehouden met de mogelijkheden van ontwikkeling binnen Kras.nl. Om
hypotheses goed te testen zijn er soms 2 verschillende interactie varianten.!
Ontwerp van de huidige thema pagina layout!
29. Test ontwerpen - 1A (v2)!
Hypothese: Het boven “de vouw”
brengen van de “bestemmingsingang”
leidt tot meer rendement.!
Ruilen van bestemmingen met “populairste” blok!
31. Test ontwerpen - 1B (v3)!
Hypothese: Het boven “de vouw” brengen
van de “bestemmingsingang” leidt tot meer
rendement.!
Bestemmingen visueel weergeven (met index)!
33. Test ontwerpen - 2A (v4)!
Hypothese: Het scanbaarder maken
van de aanbiedingen leidt tot meer
rendement.!
Aanbiedingen in 1 kolom en meer focus op prijs!
35. Test ontwerpen - 2B (v5)!
Hypothese: Het scanbaarder maken van de
aanbiedingen leidt tot meer rendement.!
Aanbiedingen visueler weergeven in een actievlak!
37. Test ontwerpen - 3A (v6)!
Hypothese: Het zichtbaar maken van
“last-minutes” leidt tot meer rendement.!
Last-minutes in plaats van populairste reizen!
39. Test ontwerpen - 3B (v7)!
Hypothese: Het zichtbaar maken van “last-
minutes” leidt tot meer rendement.!
Hypothese: Het zichtbaar maken van
“last-minutes” leidt tot meer rendement.!
Lastminute call-to-action box beneden de vouw!
41. Test ontwerpen - 4 (v8)!
Hypothese: Het direct laten zien van
beoordelingen leidt tot meer rendement.!
Beoordeling laten zien bij populairste reizen!
43. Test ontwerpen - 5 (v9)!
Hypothese: Het verbeteren van de
input mogelijkheden bij de zoekfunctie
leidt tot meer rendement.!
Zoeken: vrij zoeken (bestemming), datum en prijs!
45. Test ontwerpen - 6 (v10)!
Hypothese: Extra aandacht
voor de verschillende typen
vakanties leidt tot meer
rendement.!
Alle type vakantie ingangen opnemen in de footer!
47. Hoe werd er gewerkt?!
Middels de AB test software van Online Dialogue
werd een maatoplossing gemaakt waarbij de
bezoeker bij elk thema hetzelfde template bleef
zien, tenzij het template niet bestond voor dat
specifieke thema (bij Disney en verre reizen).!
Het gratis software pakket Google Analytics
werd gebruikt om van alle bezoekers die
alleen een bepaalde variant hadden gezien
te bepalen wat zij op de webpagina hebben
gedaan (verblijfstijd, aankopen etc.).!
De effecten van de test werden bepaald door het afsluitformulier gedrag (de
verkoop funnel) te vergelijken van alle bezoekers die een bepaalde variant
hadden gezien met de bezoekers van de andere varianten. !
49. Testperiode!
Wat betekende dit in de praktijk?!
16 themaʼs!
Met voor elk thema: 10 variaties (inclusief origineel)!
Totaal 160 variaties!
Nieuwe en terugkerende bezoekers: 320 variaties!
24 losse uren in 1 dag…!
Analyseren van themaʼs met gelijk klantgedrag!!
In de test: circa 260.000 unieke bezoekers.!
Segmenten maken! Maatwerk rapporten!
50. Wie is de overall winnaar?!
V1: Default!
V2: bestemmingen! V3: landkaart! V4: aanbiedingen!
V5: aanbiedingen! V6: last-minutes kolom! V7: last-minutes knop!
V8: ratings! V9: zoekbox! V10: footer!
51. Wie is de overall winnaar?!
V1: Default! V6: last-minutes kolom!
X % conversie! X + ? % conversie!
+ 58%!
meer transacties per unieke bezoeker!
Uniek bezoek tegen transacties in de periode 3 t/m 23 januari 2011, ongeveer 35.000 bezoekers per variant!
52. Wat levert dat nu op?!
V1: Default! V6: last-minutes kolom!
100% omzet! 102% omzet!
V9: zoekbox! De winnende variant had een veel
lager omzet bedrag per bezoeker
(door de last-minutes). Hier moet
natuurlijk rekening mee gehouden
worden. Je optimaliseert voor
meer rendement onderaan de
streep. De omzet winnaar was de
120% omzet! zoexbox variant.!
53. Totaal uitslag!
Bij de totaal beoordeling kijken we toch naar de
V1: Default! conversie uplift. Liever veel meer verkopen met een
wat lagere omzet per bezoeker dan minder verkopen
met een hogere omzet per bezoeker. Meer up-sell
omzet wordt eenvoudiger geacht dan meer conversie.!
V2: bestemmingen! V3: landkaart! V4: aanbiedingen!
-11%! +23%! -9%!
V5: aanbiedingen! V6: last-minutes kolom! V7: last-minutes knop!
-30%! +58%! -38%!
V8: ratings! V9: zoekbox! V10: footer!
+11%! +33%! +10%!
Uniek bezoek tegen transacties in de periode 3 t/m 23 januari 2011, ongeveer 35.000 bezoekers per variant!
54. Totaal uitslag!
V1: Default!
AB testen op live
bezoekers kan weinig
100%! kwaad voor je huidige
conversie. Mits er goed is
nagedacht (op basis van
klantinzichten) over de
variaties, dan zal de som
van de variaties niet
Alle variaties:! slechter presteren dan de
originele versie.!
105%!
Tijdens de test was er bij alle variaties gemiddeld
al sprake van 5% meer conversie per bezoeker!!
Uniek bezoek tegen transacties in de periode 3 t/m 23 januari 2011, ongeveer 35.000 bezoekers per variant!
55. Detail uitslagen!
V1: Default!
V2: bestemmingen! Dit verschil is statistisch niet significant. De locatie
van het huidige bestemmingen blok lijkt hierdoor
weinig invloed te hebben op de conversie!
-11%!
V3: landkaart!
Met de visuele toevoeging van een landkaart aan de
locatie links worden deze veel meer gebruikt en leidt
+23%! het ook tot meer conversie.!
V4: aanbiedingen! Deze andere vorm van weergeven van
aanbiedingen heeft geen statistisch significant effect
op het conversie percentage.!
-9%!
Uniek bezoek tegen transacties in de periode 3 t/m 23 januari 2011, ongeveer 35.000 bezoekers per variant!
56. Detail uitslagen!
V1: Default!
V5: aanbiedingen! De extra grote fotoʼs hebben een negatieve impact
op de conversie. Wij verwijten dit aan de slechte
match tussen foto en aanbod. Bij goede matches
-30%! was de conversie beter dan op de originele pagina.!
V6: last-minutes kolom! De winnende conversie variant. Bezoekers gaven in
de enquête al aan last-minutes te missen, zie hier
+58%! het effect als ze direct worden aangeboden.!
V7: last-minutes knop! Wanneer slechts een duidelijk ingang wordt
aangeboden naar de last-minute zoekpagina, heeft
dit een negatieve impact op de conversie. Wij wijten
-38%! dit aan de onheldere opzet van de zoekpagina. !
Uniek bezoek tegen transacties in de periode 3 t/m 23 januari 2011, ongeveer 35.000 bezoekers per variant!
57. Detail uitslagen!
V1: Default!
V8: ratings! Het plaatsen van ratings bij de populairste
autovakanties had alleen een statistisch significant
+11%! effect op de conversie bij de standaard massa
aanbod vakanties zoals “auto” en “zon-strand”.!
V9: zoekbox! Het prominenter tonen van de “normale” zoekbox
zorgde voor een aanzienlijke conversie stijging.
+33%! Meer mensen maakten hier ook gebruik van.!
V10: footer! De footer leverde ondanks een aanzienlijk aantal
kliks geen significante conversie verbetering op. !
+10%!
Uniek bezoek tegen transacties in de periode 3 t/m 23 januari 2011, ongeveer 35.000 bezoekers per variant!
58. Diepere detail uitslagen!
V1: Default! Nieuw bezoek conversie: 100%!
Terugkerend bezoek conversie: 100%!
• Terugkerend bezoek conversie is 72% hoger dan bij nieuw bezoek!
• Onderstaande conversies zijn gerelateerd aan de percentages hierboven!
V3: landkaart! Nieuw bezoek: -25%!
Terugkerend bezoek: +48%!
De landkaart is blijkbaar alleen maar relevant voor de terugkerende bezoeker
(die waarschijnlijk zijn locatie terugzoekt). Als inpiratiebron voor nieuwe
bezoekers heeft het zelfs een negatieve impact op de conversie.!
Nieuw bezoek: -38%!
V9: zoekbox!
Terugkerend bezoek: +69%!
Blijkbaar wordt het verschil op conversie door de zoekbox gemaakt door de
terugkerende bezoekers (die massaal het bekeken items blokje over het hoofd
zien). Voor nieuwe bezoekers werkt de huidige variant veel beter.!
V10: footer! Nieuw bezoek: +53%!
Terugkerend bezoek: -14%!
De footer blijkt alleen maar een heel positief effect te hebben op nieuwe
bezoekers, voor terugkerende bezoekers geeft het geen significant effect.!
Uniek bezoek tegen transacties in de periode 3 t/m 23 januari 2011, ongeveer 35.000 bezoekers per variant!
59. Conclusie thema pagina!
Nieuwe bezoeker:! Herhaal bezoeker:!
Zoekt inspiratie! Wil snel zijn of haar
Is zeer gevoelig voor beoogde reis
last-minute aanbod! kunnen terugvinden!
Heeft behoefte aan Inspiratie leidt af!
beeld passend bij
wat hij of zij zoekt!
De ideale pagina herkent de bezoeker en biedt die content elementen die
voor de betreffende bezoeker op dat moment relevant zijn. Dit zal naar
verwachting zorgen voor een betere conversie dan wanneer er 1 nieuwe
pagina wordt gemaakt met een combinatie van de beste elementen voor alle
bezoekers. In een 2e fase moet er worden gekeken naar aparte pagina
ontwerpen voor de verschillende groepen van vakantie typen.!
60. Hypothese verantwoording!
Wat gaat leiden tot meer rendement?!
1. Het boven “de vouw” brengen van de “bestemmingsingang”. ->
Ja, maar wel met een grafische afbeelding en alleen bij
terugkerende bezoekers.!
2. Het scanbaarder maken van de aanbiedingen. -> Heeft tot geen
verbetering en zelfs minder rendement geleid (door
waarschijnlijk niet het juiste foto aanbod).!
3. Het zichtbaar maken van “last-minutes”. -> Werkt erg goed. Veel
meer verkopen, wel lagere besteding per verkoop.!
4. Het direct laten zien van bezoekersbeoordelingen. -> Werkt
alleen positief bij de groep “auto/fly-drive/stedentrips/zon-
strand” en op het aantal nieuwsbriefaanmeldingen.!
5. Het verbeteren van de input mogelijkheden bij de zoekfunctie. ->
De eerste bezoeker stelt de selectie op prijs, de terugkerende
bezoeker wil overduidelijk zijn reis zoeken!!
6. Extra aandacht voor de verschillende typen vakanties. -> Werkt
alleen goed bij eerste bezoekers.!
61. Nieuw pagina opzet advies!
Nieuwe bezoeker:! Herhaal bezoeker:!
Originele inspiratie Normale zoekbox!
zoekfunctie! Landen index met
Inspiratie footer! grafische kaart!
Last-minute aanbod! Footer met bekeken
reizen!
Dit is de vervolg AB test. We vermoeden dat dit de meest rendabele aanpak
is, maar dit moet je natuurlijk weer testen op de bezoekers. Tevens kun je
direct toevoegingen gaan AB testen (zoals het bekeken reizen aanbod voor
de terugkerende bezoeker). Op dit moment staat al een deel live -> !
62. Huidige live versie!
Nieuwe bezoeker:! Herhaal bezoeker:!
De personalisatie van de pagina op nieuwe of terugkerende bezoeker is
recentelijk gelanceerd. De nieuwe bezoeker ziet de normale zoekbox en de
inspiratie footer, de herhaalbezoeker de zoekbox prominenter en de
bestemmingen / landkaart in beeld. Aan de bekeken item in de footer voor
de terugkerende bezoeker wordt nog hard gewerkt.!
63. Huidige live versie!
Nieuwe bezoeker:! Herhaal bezoeker:!
Nihil (niet significant)**! +24,7%!
Conversie verbetering t.o.v. originele pagina!
* Gemeten over alle themaʼs heen met bezoekers in overeenkomende dagen voor en na de livegang waarbij er geen campagne was.!
* Aantal bezoekers waarmee vergeleken is: nieuwe bezoekers: 16.600, terugkerende bezoekers: 30.100.!
** Nu men minder massaal boekt (als in januari 2001, waarin de test plaatsvond) lijkt de inspiratie functie minder impact te hebben. !
64. Kras.nl -> aan de slag!
Hypoth
eses
Ontwerpen
Op basis van deze proof-of-
concept heeft Kras.nl besloten
om samen met Online Dialogue
deze methodiek standaard in de
organisatie te gaan opnemen.!
Regelmatig zullen er kleinere
verbeterslagen gaan worden
gemaakt in plaats van focus op
grote verbeterslagen in 1 keer.!
66. Over Online Dialogue!
Online Dialogue heeft de ambitie om de kwaliteit van offline service &
verkoop dialogen naar het online kanaal te halen.!
Strategie!
Ontwerp!
Optimalisatie!
Onze diensten:!
Internet strategie begeleiding.!
Het ontwerpen van de online aanwezigheid.!
Structuur aanbrengen in online rendement optimalisatie.!
67. Over Online Dialogue!
Online Dialogue is een collectief van ervaren coaches en managers met
inhoudelijke online rendement kennis.!
Wij delen de Online Dialogue visie over digitaal klantcontact en werken
samen aan de verbetering van de bijbehorende methodische aanpak.!
!Winnaar van 1 gouden en 2
zilveren internationale AB
conversie test awards 2010
(whichtestwon.com)!
Naast een sturende laag van partners beschikken wij over een
kwalitatieve interim pool van online specialisten die wij inschakelen voor
uitvoerende werkzaamheden.!