Prezentace o vyhodnocování dopadu display a video reklamy v AdWords pomocí měření "Conversion Lift".
Prezentující: Anna Petrová (Google)
Prezentace z PPC OFFLINE #9
30. 1. 2018, Praha - PVA Letňany
Video záznam přednášky zde: Připravujeme
Více o PPC OFFLINE na http://www.ppcoffline.cz
Porádáno agenturou KOFEIN: http://www.kofein.cz
6. UŽIVATELÉ
Jak vypadá ideální experiment
VIDĚLI VAŠI
REKLAMU
BYLI BY VIDĚLI VAŠI REKLAMU
TYP 1:
Celobarevné
tričko
TYP 2:
Pruhované
tričko
Viděli
reklamu
Viděli by
reklamu
Neviděli
reklamu
NEVIDĚLI VAŠI REKLAMU NEVIDĚLI BY VAŠI REKLAMU
EXPONOVANÍ KONTROLNÍ
7. Extra Noise: Zero Effect
Alternativa 1: Intent-to-treat (třeba geo-experiment)
UŽIVATELÉ
TYP 1:
Celobarevné
tričko
TYP 2:
Pruhované
tričko
Viděli
reklamu
Neviděli
reklamu
Neznámý
zásah
MOHLI BY REKLAMU VIDĚT NEBO TAKY NENEVIDĚLI VAŠI REKLAMU
VIDĚLI VAŠI
REKLAMU
EXPONOVANÍ KONTROLNÍ
8. Alternativa 2: jedna kampaň oproti druhé (např. PSA)
Výběrové zkreslení
UŽIVATELÉ
VIDĚLI VAŠI
REKLAMU
VIDĚLI PSANEVIDĚLI PSANEVIDĚLI VAŠI REKLAMU
TYP 1:
Celobarevné
tričko
TYP 2:
Pruhované
tričko
Viděli
reklamu
Neviděli
reklamu
Viděli
PSA
Neviděli
PSA
EXPONOVANÍ KONTROLNÍ
9. UŽIVATELÉ
Jak vypadá ideální experiment
VIDĚLI VAŠI
REKLAMU
BYLI BY VIDĚLI VAŠI REKLAMU
TYP 1:
Celobarevné
tričko
TYP 2:
Pruhované
tričko
Viděli
reklamu
Viděli by
reklamu
Neviděli
reklamu
NEVIDĚLI VAŠI REKLAMU NEVIDĚLI BY VAŠI REKLAMU
EXPONOVANÍ KONTROLNÍ
10. Kolik návštěv nebo
konverzí se stalo díky
tomu, že uživatelé viděli
moji reklamu?
Google Conversion Lift měří
inkrementalitu vaší konkrétní
kampaně v AdWords.
12. Další reklama
v aukci
Kontrolní skupina
Ti, kdo by viděli
vaši reklamu
Exponovaná skupina
Ti, kdo viděli
vaši reklamu
Nekonvertovali Konvertovali díky vaší reklamě Konvertovali nezávisle na vaší reklamě
Jak funguje Conversion lift?
14. Co je pro Conversion lift potřeba?
Požadavky na kampaňTechnické požadavky
Účet potřebuje 125 konverzí (po kliku a
po zhlédnutí) v posledních 7 dnech
před experimentem.
Měřená kampaň musí vygenerovat
alespoň 500 konverzí v průběhu
experimentu (28 dní)
Kampaň musí mít v prvních 14 dnech
dostatečný budget tak, aby získala asi
1.5 milionu impresí.
Test běží 28 dní.
Display nebo video kampaň v AdWords
Použití AdWords konverzního pixelu.
Použití AdWords remarketingového
pixelu na webu pro měření návštěv.
Nesmí souběžně běžet Brand lift.
15. Jak dlouho test trvá?
1 týden
2 měsíce
trvání:
Design
testu &
hypotéza
Nastavení &
optimalizace
kampaně
Průběh
testu
Report
1 týden 2 týdny 4 týdny
nejdůležitější fáze experimentu
17. Pro jaké kampaně se Conversion lift hodí?
Your ad Your ad
Video
kampaně
zaměřené
na výkon
Display kampaně,
které je těžší
vyhodnotit last
click atribucí
19. Proprietary + Confidential
Conversion Lift - Experiment details
DE_CPA_Retargeting_Abandoned_Conversion,
DE_CPA_Retargeting_SaleView,
DE_CPA_Retargeting_General_Abandoned
£9,918.84
70% exposed / 30% would’ve been exposed
Rescaled to allow 50/50 comparison
Test
Campaign(s)
Test
Period
Test
Spend
Test/Control
Ratio
Total Exposed
Users
January 20, 2017 - February 16, 2017
Treatment: 324,339
Control: 126,317
20. Proprietary + Confidential
Executive Summary
+5.4% lift in Site visitors
+3.8% lift in Page Views
+9.8% lift in Converted users
+8.3% lift in Conversions
Conversion Lift
Numbers in green are statistically significant at a 90% confidence interval
21. Proprietary + Confidential
Conversions highlights
All conversion actions included in the AdWords ‘Conversions’ column
Conversion Lift
Relative lift: +9.8%
Absolute lift: +562
Converted users
Relative lift: +8.3%
Absolute lift: +621
AdWords reported conversions: 341
Conversions
Relative lift: +4.3%
Absolute lift: +34,903
AdWords reported value: 50746.0
Conversion value
Numbers in green are statistically significant at a 90% confidence level
22. Proprietary + Confidential
Site visits highlights
Relative lift: +5.4%
Absolute lift: +7,844
Visitors Pageviews
Relative lift: +3.8%
Absolute lift: +150,239
Conversion Lift
Numbers in green are statistically significant at a 90% confidence level
24. Výsledky Conversion Liftu jsou konzervativní
Změřený nárůst
Nedoměřený nárůst
Proč?
Měříme pouze vliv v období experimentu,
ale často pozitivní vliv pokračuje.
Uživatele v kontrolní skupině byli
neúmyslně vystavení vašim reklamám
v jiné síti.
Uživatelé si mažou cookies.
Uživatelé odmítnout sledování cookies
(vidí reklamy, ale nespojí se s konverzí).
Některé kanály nákupu se neměří.
Ti, co by
konvertovali
i bez měřené
kampaně
25. A také sezónalita, reklamy
v dalších sítích atd.
Dejte si záležet, aby vaše kampaň byla
dobře nastavená a zoptimalizovaná.
Kvalita kreativy může mít velký vliv.
Další vlivy jako sezónalita nebo použití
stejných reklam v dalších kanálech
mohou zkreslit výsledky.
Inkrementalita není dána jen mediálním kanálem
Vaše
reklama
Kvalita vaší kreativy
Kontext
Cílení
Viditelnost
26. závěr:
Conversion lift je řešení pro
jednorázové měření inkrementality
display a video kampaní, kde klasická
atribuce na kliky nestačí.
well-defined target group
precise control over who is allowed to see the ads.
However, modern ad servers using cost per click (CPC) and action (CPA) pricing and creative optimisation distort these so-called "PSA tests."
>> Selection bias
>> extra cost
well-defined target group
precise control over who is allowed to see the ads.
Conversion Lift measures causal differences in conversion behavior and site visit behavior
We create a control group out of the pool of users that would have seen your ad, but instead of showing your ad, we show the next ad in the auction.
We then track and compare the differences in downstream behaviors of both those that actually saw your ad (test group) and those that would have, but didn’t (control group)
The experiment will split the cookies in your target audience into two groups: 1) The test group who will see your ad (~70% of users) and 2) The control group who would have seen your ad, but are instead shown the next ad in the auction (~30% of users). This is called a ghost ad.
At the end of the experiment we compare the conversions (including cross-device conversions) and pageviews for both groups to measure what percentage of conversions & pageviews were directly caused by the ad versus those that would have occurred anyways. The experiment reporting contains data about conversions caused by the ad (called also "incremental") broken down by conversion type.
Conversion Lift measures causal differences in conversion behavior and site visit behavior
We create a control group out of the pool of users that would have seen your ad, but instead of showing your ad, we show the next ad in the auction.
We then track and compare the differences in downstream behaviors of both those that actually saw your ad (test group) and those that would have, but didn’t (control group)