Многие считают, что провести A/B эксперимент просто, тем более, что уже есть инструменты, которые позволяют автоматизировать этот процесс. При этом почти никто не задумывается о допущениях, на которых основана работа этих инструментов. По-настоящему случайное распределение пользователей, независимость измеряемых событий — либо всё это кажется само собой разумеющимся, либо об этом вовсе не задумываются. Между тем систему проведения экспериментов на пользователях очень легко сломать, поставив её в неподходящие условия, и потом принимать по результатам экспериментов решения, не отличающиеся от случайных. В докладе мы рассмотрим несколько примеров из мировой индустрии и из практики Яндекса. Если вы делаете у себя A/B тестирование, то хотя бы одна из этих проблем у вас почти гарантированно есть. Как одно из средств мониторинга здоровья системы экспериментов предлагается проведение постоянного A/A эксперимента, то есть такого, у которого контрольная и экспериментальная группы пользователей видят одно и то же. Есть довольно много классов проблем, которые можно выявить с помощью этого мониторинга. Единственно, делать его довольно накладно, если у вас мало пользователей, но и на этот случай есть пара лайфхаков, которые мы тоже рассмотрим.

1. Малоизвестные
грабли А/Б-тестинга
Роман Поборчий
v1.1

2. График целевой метрики

3. График целевой метрики

4. Миллион раз по сто попыток
0 1 2 3 4 5 6 7 8 9
366K 369K
185K
61K
15K 2.8K 456 54 4 1

5. Всё бесполезно?..

6. A/B тестинг в одном слайде
Разбить
юзеров
Показать
каждому
своё
Обсчитать
результат

7. Разбить юзеров

8. Система бакетов

10. ??
Система бакетов
??
?? ?? K
?? ?? ??

11. Легенда: exp vs. prod
Хуже
Не отличается
Лучше
Хуже Лучше

12. Система бакетов
??
K
?? ?? ??

13. ??
Система бакетов
?? ?? K

17. ??
Вред от обиженного бакета
??
?? ?? K
?? ??

18. ??
Вред от обиженного бакета
??
?? ?? K
?? ??

19. ??
Вред от обиженного бакета
??
?? ?? ??
K ?? ??

20. Вред от обиженного бакета
K

21. Память поколений
Источник: http://www.exp-platform.com/documents/puzzlingoutcomesincontrolledexperiments.pdf

22. Помешивайте кашу

23. Помешивайте кашу

24. Помешивайте кашу

25. Помешивайте кашу

26. Помешивайте кашу

27. Все животные равны…

28. Показать каждому своё

29. Юзеры
Два ДЦ

30. Амазон:
100мс стоят 1% продаж

31. Обсчитать результат

33. Распределение цвета глаз

37. Зависимые действия в жизни
автомат калашникова купить
автомат калашникова настоящий купить
автомат калашникова не макет купить

39. Зависимые действия в жизни
автомат калашникова купить
автомат калашникова настоящий купить
автомат калашникова не макет купить
нанять киллера

40. Teh drama
K

41. 50 оттенков серого
K

42. Оффлайновый А/А тест

43. Оффлайновый А/А тест

44. Оффлайновый А/А тест

45. Так делать не надо
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X

46. Так делать не надо
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X

47. Так делать не надо
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X

48. В реальности будет иначе
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X

49. В реальности будет иначе
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X

50. Silver bullet…
…it is not

51. Проводите A/A тесты, следите за
Целевой метрикой
Количеством пользователей
Временем ответа (хотя бы на сервере)
Долей несовпадающих метрик
Количеством успешных экспериментов

52. Ну вы держи́тесь там
Роман Поборчий
prs@poborchy.ru
http://poborchy.ru/
https://www.facebook.com/roman.poborchy