Главная вопрос любого рекламодателя – "Куда максимально эффективно вложить следующий рубль маркетингового бюджета?". Обычно для принятия этого решения нужно установить связь между расходами и выручкой, что в мире десятков маркетинговых каналов становится довольно тяжело. Мультиканальная атрибуция помогает распределить ценность среди каналов и помочь оценить их инкрементальный вклад в бизнес. Одна проблема: это сложно, не очень интуитивно, а главное – тяжело поддается дальнейшему улучшению. Действительно, довольно трудно сравнивать разные системы атрибуции. Тяжело в короткий срок понять, что одна из них лучше другой. Это лишний раз подтверждает, что подходить к проектированию атрибуции итерационно не выгодно и лучше двигаться крупными шагами в сторону оптимальной модели. В своём докладе я расскажу об эволюции атрибуции в Островке, включая будущие планы. Как всегда в докладе будет много графиков и цифр и он рассчитан прежде всего на тех, кто уже знает о том, что такое мультиканальная атрибуция и хочет понять какой можно получить от нее результат и нужно ли ее развивать дальше.

1. Глубокие закопки
в мультиканальную атрибуцию
Евгений Курышев, Ostrovok.ru, 2016

2. Что такое Маркетинговая Атрибуция?
я просто обязан вам рассказать

3. Атрибуция – это попытка установить и
измерить причинно-следственную связь,
в данном случае в маркетинге

4. типичная причина: визит
типичное следствие: продажа

5. Мультиканальная?
Продажа
$
SEO Vital CPC Email

6. Зачем это нужно?

7. Например, чтобы точнее связать
маркетинговую активность и продажи

8. Чтобы понять как потратить следующий
доллар маркетингового бюджета, а может
быть перераспределить уже имеющийся

9. Чтобы повысить общий ROAS/ROI на уровне
всего бизнеса

10. Кому это подходит?

12. Получается, что для 60-65% заказов
есть несколько визитов

13. Ладно, связь между одним или несколькими
визитами и продажей установили,
а как оценить её количественно?

14. Обычно каждой сессии назначается
некий вес в процентах, её вклад в продажу
Продажа
$
SEO SEO Vital CPCSEO Email
10% 10% 10% 50% 0%0%
это вес

15. Во-первых, это позволяет
перераспределить бюджет между
каналами правильнее
Было Стало
SEM
Brand

16. А еще это помогает перераспределить
бюджет внутри канала
Было Стало
Category
Vital

17. Например, кампании с плохим
ROI могут оказаться на самом
деле хорошими и наоборот

18. Далее, это позволяет
на микро-уровне оценивать
эффективность трафика

19. Если умножить вес сессии
на выручку с ассоциированного
бронирования, то получится
“атрибуцированная выручка с сессии”

20. Даты
Тип кампании

21. Средняя выручка с сессии хорошо
заменяет конверсию
в анализе трафика, потому что учитывает
продажи, сделанные вернувшимися
позже и через другие каналы клиентами

22. Выбор модели атрибуции

23. Модели которые работают
по одному базовому правилу
Last-Click: Весь вес отдается последней сессии
Last-Paid Click: Весь вес отдается последней платной сессии
Time Decay: Вес распределяется экспоненциально
уменьшаясь для с сессий в прошлом

24. Модели которые работают
по сложной эвристике
Например, hit-weighted attribution,
вариант, в котором вес по сессиям
раздается в зависимости от числа
хитов в сессии

26. Алгоритмические и Вероятностные модели
Обычно это модели, в которых на базе машинного обучения
строится модель, предсказывающая вероятность продажи
после каждой сессии, а значит оценивающая вклад каждой
сессии в приближение продажи
Например, Markov-Chain attribution

27. SEM Category
Campaign
Vital/Type-In
SALE!
CPC Retargeting
Reactivation Email
$
0.4
0.1
0.1
0.25
0.2
0.1
0.5 0.2 0.3
0.3
0.25

28. Значит, выберем самую лучшую
мультиканальную атрибуцию и заживём…

29. Значит, выберем самую лучшую
мультиканальную атрибуцию и заживём…

30. Значит, выберем самую лучшую
мультиканальную атрибуцию и заживём…

31. А не совсем!

32. Недооценивать точность Last Paid Click
Ловушка номер 1

33. Кто не использует сложные модели
атрибуции ошибается с выводами
для 60% выручки?

34. На самом деле всё не так однозначно

35. Во-первых, чаще всего
если в заказе
участвовало всего пара
визитов, то они пришли
из одного канала.
Доля заказов с 1-3
визитами уже
существенно больше
(у нас – 62%)
Доля заказов по числу визитов
38 %
62 %
1-3 4+

36. Во-вторых, даже если
визитов перед
продажей больше трёх,
заметная
доля приходится на
одинаковые каналы

37. Количество
УНИКАЛЬНЫХ каналов,
участвовавших в продаже
5 %
17 %
77 %
1 2 3 4 5 6
Только в 23% случаев
у нас вообще есть
больше 2 разных
каналов и возникает
вопрос атрибуции

38. То есть Last Click
неплохо описывает 3/4 продаж.
Но что с Last Paid Click?

39. Если исключить продажи, где канал
последнего (из 2) визита был бесплатный,
то останется порядка 15-20% продаж,
в которых реально участвовало
больше 1 уникального канала

40. Недооценивать точность Last Paid Click
Ловушка номер 1
Выводы: Для многих бизнесов Last Paid Click
атрибуция довольно честно выдаёт кредит
каналам, приводящим к продаже/целевому
действию. Так что стоит еще подумать,
нужна ли более сложная модель атрибуции
в такой ситуации…

41. Надеяться без проблем решить одной атрибуцией все проблемы
Ловушка номер 2

42. Если вы всё же внедрили использование
сложной мультиканальной атрибуции,
не надо забывать о старых добрых
вариантах

43. С одной стороны, сложная модель
атрибуции должна предсказывать важность
каналов для привлечения продажи
С другой стороны она должна давать
ответ на вопрос, куда тратить деньги в
маркетинге

44. Пример
Продажа
$
CPC Email
100% 0%
Емейл привел к продаже, но весь кредит
получил платный канал CPC
даже в “простом” last paid click можно
сделать выводы, что Email не продаёт,
и не заниматься им, а в итоге
потерять много продаж

45. На самом деле вопрос корреляции канала
визита и продаж и вопрос
бюджетирования надо
рассматривать отдельно

46. В любом случае, надо научиться работать
с несколькими вариантами атрибуции для
разных целей
Анализ воронки
Планирование
бюджета
Мониторинг продаж в
реальном времени
Direct
Last Click Last Non-Direct Click Custom Model

47. Надеяться без проблем решить одной атрибуцией все проблемы
Ловушка номер 2
Вывод: Использовать подходящую
атрибуцию для каждой задачи. Помнить что
ROAS канала при сложной модели
атрибуции и его важность для продаж могут
сильно отличаться

48. Думать что можно просто так взять и выбрать самую лучшую модель
Ловушка номер 3

49. В какой то момент, когда вы готовы
ко внедрению новой, классной атрибуции
для самой главной задачи, планирования
маркетинга, возникает вопрос –
как их сравнивать и как выбирать

50. НЕЛЬЗЯ ПРОСТО ТАК ВЗЯТЬ И ВЫБРАТЬ
ЛУЧШУЮ МОДЕЛЬ АТРИБУЦИИ

51. И дело не только в том, что разные модели
хороши для разных целей.
Даже для одной цели часто сложно
выбрать лучшую модель, потому что
их очень тяжело сравнивать

52. В ловушке номер 1 рассматривался способ
оценки объёмов продаж, на которые влияет
атрибуция

53. 1. Нужно взять все цепочки каналов, приводящие
к конверсии
2. Убрать цепочки где новая атрибуция не меняет выдачу весов по
сравнению со старой
3. Убрать цепочки с одинаковыми визитами
4. Опционально: убрать цепочки, инициированные каналами,
которыми трудно управлять в реальном времени или которые
исчерпали свой потенциал
5. Посчитать выручку или число продаж по цепочкам, которые
остались

54. Процент оставшейся выручки и содержит
потенциальный апсайд, при условии,
что новая атрибуция покажет более
рациональное перераспределение бюджета
по оставшимся каналам/цепочкам

55. Вариант 1. Внедрить и посмотреть что будет
+ Просто
– Долго
– Не точно
– Потенциально теряет деньги

56. Вариант 2. Сделать A/B тест атрибуций
– Сложно
– Еще более долго
– Всё равно не точно
± Контролируемо теряет деньги

57. Вариант 3. Сделать кросс-валидацию на
фактических данных
+ Не теряет деньги
+ Быстро
– Очень сложно
– Всё равно не точно

58. Думать что можно просто так взять и выбрать самую лучшую модель
Ловушка номер 3
Вывод: Поскольку измерить точность
атрибуции очень сложно, то в какой-то
момент рациональнее выбирать наиболее
совершенную доступную модель
и заниматься её оптимизацией

59. Забыть про повторность
Ловушка номер 4

60. Большинство даже достаточно современных
моделей атрибуции считают новых
и повторных клиентов одинаково,
их визиты и конверсии равнозначными

61. Это очень плохо

62. Сценарий 1 Сценарий 2
Расход $100 $100
Показы 200 бывших клиентов,
500 новых
50 бывших клиентов,
800 новых
Продажи 20 повторных, 5 новых 5 повторная, 15 новых
CPO $4 $5
Инкремент 5 новых клиентов 15 новых клиентов

63. Новые клиенты почти всегда лучше чем
старые (за те же CPO косты), но многие
модели атрибуции про это не знают

64. Часть вашего маркетингового бюджета в том
числе и в каналах привлечения новых
пользователей расходуется на возврат
старых клиентов

65. Когда вы распределяете выручку этих
повторных клиентов (многие из которых
и так бы пришли) в процессе атрибуции,
вы зашумляете ваши цифры, скрывая
реальную инкрементальную пользу
рекламных кампаний

66. Есть разные механизмы решения проблемы
1. Распределять не выручку от продажи, а ценность клиента (LTV)
2. Дисконтировать выручку повторных продаж в атрибуции
3. Атрибуцировать повторные/новые конверсии отдельно

67. Забыть про повторность
Ловушка номер 4
Вывод: Ценность атрибуции –
в установлении инкрементальной пользы
конкретной маркетинговой активности,
а без анализа повторности нельзя
сделать выводы об инкрементальности

68. Думать, что хорошая атрибуция вытесана в камне
и не нуждается в тюнинге
Ловушка номер 5

69. Если вы
• “Переросли” Last Non-Direct
• Выбрали одну из готовых современных моделей
атрибуции, например в
Google Analytics 360 или построили свою
• Научились в ней атрибуцировать LTV
• Используете более простые модели
там где они уместнее
то может возникнуть ощущение, что жизнь удалась…

70. Ну вы поняли…

71. Есть еще много пространства для улучшений

72. 1. Современные модели атрибуции
помогают выбрать клиентов и предсказать
оптимальный вид следующего тачпоинта,
максимально повышающего вероятность
конверсии

73. 2. Поскольку ценность атрибуции зависит от
числа “сложных” цепочек визитов, то можно
увеличить ценность, научившись матчить
посетителей на разных устройствах

74. 3. Вашими тачпоинтами с клиентами
являются не только визиты,
нужно обогащать данные

75. 4. Вашими конверсиями являются
не только продажи

76. 5. Шум в данных делает превращает вашу
атрибуцию в тыкву

77. Думать, что хорошая атрибуция вытесана в камне
и не нуждается в тюнинге
Ловушка номер 5
Вывод: Очень быстро вы приходите
к ситуации, когда точность алгоритмов вашей
атрибуции ниже чем чистота и объём ценных
данных. Чтобы развиваться дальше нужно
взглянуть на старые практики под новым
углом.

78. Общие выводы

79. 1. Не гонитесь за сложной атрибуцией
если это не влияет на большую долю
продаж

80. 2. Используйте старые добрые модели
типа Last Click для подходящих целей

81. 3. Отдайте предпочтение новой
модели атрибуции, построенной на
machine learning и использующей
максимум гранулярных данных

82. 4. Анализируйте инкрементальность
маркетинга, учитывайте повторность
в атрибуции

83. 5. Знайте узкие места вашей
атрибуции, работайте над чистотой
и полнотой данных, на основе
которых вы потом тратите ваш
бюджет

84. Евгений Курышев
facebook.com/evgenyq

85. Полезно почитать
Зачем нужна новая модная атрибуция
http://www.callahancreek.com/marketing-attributon-analysis-part-2-embrace-the-complexity/
Как в Google Analytics быстро оценить потенциальный апсайд от
мультиканальной атрибуции
https://www.owox.ru/solutions/articles/multichannel-attribution-additional-value/
Что делать, если вы хотите построить её сами
http://blogs.sas.com/content/customeranalytics/2015/12/08/making-case-algorithmic-digital-attribution/
Про инкрементальность в маркетинге и атрибуции
http://adexchanger.com/data-driven-thinking/your-attribution-model-is-broken/
Как сделать свою атрибуцию на Markov Chains в R
http://www.lunametrics.com/blog/2016/06/30/marketing-channel-attribution-markov-models-r/
Почему у вас никогда не будет хорошей модели атрибуции
http://mashable.com/2014/07/21/ad-analysts-job-impossible/