Дизайн теста, имплементация, анализ результатов, типичные статистические ошибки

1. АБ-тестирование средствами
Google Analytics
Казаченко Наталья, аналитик Crossss, 2015 г.

2. #Я!
Аналитик в сервисе персональных рекомендаций Crossss: веб-
аналитика в Google Analytics, Яндекс Метрике, других системах
Enterprise, анализ данных, Big Data,
АБ-тестирование
Прошлые места работы:

3. АБ-тесты это весело!
● Простой научный метод, пришедший из
медицинских лабораторий
● Принятие решений, опирающихся на
данные, а не на интуицию
● Математический аппарат, однозначно
выбирающий выигрышный вариант

4. АБ-тесты это весело!

5. Этапы проведения
1) Дизайн АБ-теста: разработка
экспериментальной гипотезы, расчет
времени проведения теста, выбор целевой
метрики
2) Имплементация теста
3) Сбор данных
4) Анализ результатов
5) Следующий АБ-тест

6. Этапы проведения
1) Дизайн АБ-теста: разработка
экспериментальной гипотезы, расчет
времени проведения теста, выбор целевой
метрики
2) Имплементация теста
3) Сбор данных
4) Анализ результатов
5) Следующий АБ-тест

7. Выбор целевой метрики
Сколько людей на самом деле пользуются
вашим продуктом?
SaaS: время выполнения
работы, доля подписчиков,
доля активных пользователей
Коллаборативный: доля
ценного контента, доля
активных создателей контента
Транзакционный: конверсии,
средний чек, брошенные
корзины
Медиа: время на странице,
страниц за визит, CTR

8. Единственная важная метрика
● Twitter: пользователи, зашедшие хотя бы 7
раз за последний месяц
● LinkedIn: просмотры профилей (поиски
профилей и доля просмотренных
пользователей)
● Crossss: пользователи, кликнувшие на
рекомендацию и купившие
рекомендованный товар

9. Единственная важная метрика
Всегда помните об остальных KPI,
оптимизируя одну метрику

10. Большинство результатов
АБ-тестов в IT — надуманы
И это нормально.

11. Как врать с помощью статистики
Орел Решка
Правая рука 5 11
Левая рука 11 5

12. Как врать с помощью статистики
Сценарий 1 Сценарий 2 Сценарий 3 Сценарий 4
200 сессий Незначимый Незначимый Значимый! Значимый!
500 сессий Незначимый Значимый! Незначимый Значимый!
Результат Незначимый Значимый! Незначимый Значимый!
Сценарий 1 Сценарий 2 Сценарий 3 Сценарий 4
200 сессий Незначимый Незначимый Значимый! Значимый!
500 сессий Незначимый Значимый! Остановка
теста
Остановка
теста
Результат Незначимый Значимый! Значимый! Значимый!
Если мы останавливаем тест сразу после получения значимого результата:

13. Как не врать с помощью
статистики
● Выберите минимальное удовлетворяющее
вас улучшение (например, +10% к
конверсии)
● Рассчитывайте длительность теста заранее
● Не подглядывайте в результаты до конца
теста
● Учитесь проигрывать

14. Как обычно реализуют тесты в GA
1) Самостоятельно делят аудиторию
2) Отправляют метку пользователя в GA
(event, custom dimension)
3) Создают сегменты пользователей в GA
4) Самостоятельно анализируют результаты

15. GA берет на себя большинство
математики
● Делит аудиторию в нужной пропорции
● Заботится о том, чтобы каждый
пользователь на протяжении всего теста
видел только один вариант
● Трекает группы теста
● Создает отчет и интерпретирует результаты

16. Создаем эксперимент с помощью
GA

17. Создаем эксперимент с помощью
GA

18. Многорукий бандит

19. Создаем эксперимент с помощью
GA

20. Создаем эксперимент с помощью
GA

21. Как выглядят результаты

22. Кейс Crossss

23. Эксперименты GA
+ Простота настройки
+ Автоматическое вычисление результатов
+ Оптимизация за счет многорукого бандита
- Недостаточная детализация отчетов
- Невозможность выгрузки сырых данных по
API
- Непрозрачная схема многорукого бандита

24. Полезные инструменты
Для работы с GA:
● GA debugger
● GA Tag assistant
Для расчета тестов:
● Калькулятор статистической значимости и
продолжительности теста

25. Источники и ссылки
1) Most winning A/B test results are illusory
2) How not to run an A/B test
3) Эксперименты с многоруким бандитом
4) Experiments at AirBnb
5) The only metric that matters

26. Приятных вам экспериментов!