Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
Продуктовая аналитика Евгений Курышев Островок.ру Карго культ в современных компаниях
ЧТО ТАКОЕ 
 ПРОДУКТОВАЯ АНАЛИТИКА?
BUILD MEASURELEARN
BUILD MEASURELEARN
Дата поинты Воронки Сегменты Когорты Атрибуция Поведенческий анализ A/B тесты Кластеризация CLTV Анализ RFM Анализ
Analysis Services
ЧТО ТАКОЕ КУЛЬТ КАРГО?
ПОЧЕМУ 
 ПРОДУКТОВАЯ АНАЛИТИКА — ЭТО СЕГОДНЯШНИЙ КУЛЬТ КАРГО?
ПРОЦЕССЫ люди имитируют процессы, приводящие к результату
ИНСТРУМЕНТЫ компании создают инструменты, похожие на то, что нужно для решения задач
ДАННЫЕ мы собираем и храним их 
 почти как “настоящие сварщики”
ЖДЁМ ГУЛА САМОЛЁТОВ несущих недополученную выручку и квартальные бонусы
А ОНИ ВСЁ НЕ ЛЕТЯТ
ПРИМЕРЫ
ВЕБ-АНАЛИТИКА 
 И ВОРОНКИ
КАК ВЫГЛЯДИТ ПЛАН?
1. поставим Google Analytics 2. построим воронки 3. найдем и исправим узкие места 4. … 5. PROFIT!!!!
КАК ПОЛУЧАЕТСЯ НА САМОМ ДЕЛЕ?
Посетители лэндинг форма регистрации письмо с подтверждением финиш 2 500 20 102 35 340 96 242
Посетители лэндинг форма регистрации письмо с подтверждением финиш 2 500 20 102 35 340 96 242
Посетители лэндинг форма регистрации письмо с подтверждением финиш 2 227 18 499 66 404 96 242
ЗАСАДА №1 ИЗМЕНЕНИЯ НА ОДНОМ ШАГЕ ВОРОНКИ МЕНЯЮТ ПОВЕДЕНИЕ И НА ПОСЛЕДУЮЩИХ
ВНЕЗАПНО ИЗМЕНИЛАСЬ ФОРМА ВОРОНКИ, НО ПРОДУКТ НЕ ИЗМЕНЯЛСЯ? вчера Посетители сегодня
ВОЗМОЖНО ИЗМЕНИЛСЯ МИКС МАРКЕТИНГОВЫХ КАНАЛОВ вчера SMM 12 % Direct 13 % SEM 34 % SEO 41 % сегодня SMM 7 % Direc...
ВОЗМОЖНО ИЗМЕНИЛСЯ ИНВЕНТАРЬ И ПРОДАЖИ ПЕРЕРАСПРЕДЕЛИЛИСЬ вчера Ботинки 12 % Носки 13 % Колготки 34 % Трусы 41 % с...
ЗАСАДА №2 ИЗМЕНЕНИЕ ВОРОНКИ 
 НЕ ГОВОРИТ 
 ОБ ИЗМЕНЕНИИ ПРОДУКТА
Посетители лэндинг форма регистрации письмо с подтверждением финиш 14 120 220 550 ДЛЯ ХОРОШИХ ВЫВОДОВ ЧАСТО НЕ ХВАТАЕТ...
РАЗМЕР ИМЕЕТ ЗНАЧЕНИЕ ЗАСАДА №3
КАК НАДО?
1. ИЩИТЕ УЗКИЕ МЕСТА Посетители Лэндинг СЕРП Страница отеля Страница бронирования Ваучер 1 776 22 412 50 102 82 340 96...
2. ДОБАВЛЯЙТЕ НОВЫЕ ШАГИ Посетители Страница отеля Страница бронирования Ваучер Посетители Страница отеля Страница ...
3. ОТСЛЕЖИВАЙТЕ ДИНАМИКУ ВОРОНОК 
 С ИЗМЕНЕНИЕМ ПРОДУКТА до релиза Посетители после релиза
Воронка здорового человека Воронка курильщика 4. СОБИРАЙТЕ ВСЮ ИНФОРМАЦИЮ О ПРОТЕЧКАХ
4. СОБИРАЙТЕ ВСЮ ИНФОРМАЦИЮ О ПРОТЕЧКАХ Посетители Страница отеля Страница бронирования Ваучер 

Нажимают "Back" Закрывают вкладку Нажимают на лого Нажимают "Справка" Остальное
5. СЕГМЕНТИРУЙТЕ! Общая воронка Посетители Лэндинг Форма регистрации Письмо подтверждения Финиш 1 776 22 412 50 102 ...
ATV 0…80 $ Посетители ATV 81…250 $ ATV 251…600 $ ATV 601+ $ Воронки по среднему чеку 5. СЕГМЕНТИРУЙТЕ!
• по маркетинговому каналу • по среднему чеку • по когортам • по демографии • по повторным продажам 5. СЕГМЕНТИРУЙ...
6. БУДЬТЕ ОСТОРОЖНЕЕ 
 В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание а...

 6. БУДЬТЕ ОСТОРОЖНЕЕ 
 В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание ...
6. БУДЬТЕ ОСТОРОЖНЕЕ 
 В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание а...
7. ПОСТОЯННО СЛЕДИТЕ ЗА СОСТОЯНИЕМ ВОРОНОК Воронка регистрации Посетители Лэндинг Страница регистрации Отправка пис...
A/B ТЕСТИРОВАНИЕ
КАК ВЫГЛЯДИТ ПЛАН?
1. интегрируем инструмент для A/B тестирования 2. будем тестировать по 5 маленьких изменений в день 3. если каждый A/B...
КАК ПОЛУЧАЕТСЯ НА САМОМ ДЕЛЕ?
ПЕРВЫМ ДЕЛОМ, РАЗУМЕЕТСЯ, ПОИГРАЕМ ШРИФТАМИ
Визиты 671 556 Контрольная группа Тестовая группа Бронирования 69 50 Конверсия 10,3 %9,0 %
Визиты 671 556 Контрольная группа Тестовая группа Бронирования 69 50 Конверсия 10,3 %9,0 %
Визиты 671 556 Контрольная группа Тестовая группа Бронирования 69 50 Конверсия 10,3 %9,0 % 

ТЕПЕРЬ ТЕ ЖЕ САМЫЕ ДАННЫЕ ВЫГЛЯДЯТ НЕ ТАК ХОРОШО – СТАТИСТИЧЕСКОЙ РАЗНИЦЫ МЕЖДУ ГРУППАМИ НЕТ
ЗАСАДА №1
 НЕ ВСЕГДА ОЧЕВИДНО,
 КАКОЙ ВАРИАНТ ВЫИГРЫВАЕТ
ОСТАВЛЯЕМ ЭКСПЕРИМЕНТ ЕЩЕ НА ПАРУ ДНЕЙ COMIC SANS ДОЛЖЕН ПОБЕДИТЬ!

 Визиты 1 1501 020 Контрольная группа Тестовая группа Бронирования 121101 Конверсия 10,5 % 9,9 %
Визиты 1 1501 020 Контрольная группа Тестовая группа Бронирования 121101 Конверсия 10,5 % 9,9 %
ЗАСАДА №2
 СЛОЖНО ПОНЯТЬ, 
 КОГДА ЭКСПЕРИМЕНТ МОЖНО ЗАВЕРШИТЬ
ПРОВЕРИМ ЛУЧШЕ ВЛИЯНИЕ ОТЗЫВОВ ОТЕЛЕЙ НА КОНВЕРСИЮ
У КОНТРОЛЬНОЙ ГРУППЫ ОСТАВИМ ВСЁ КАК ЕСТЬ У ТЕСТОВОЙ ГРУППЫ ОТКЛЮЧИМ ОТОБРАЖЕНИЕ ОТЗЫВОВ НА СТРАНИЦЕ ОТЕЛЯ
ДА ПОЧЕМУ ОПЯТЬ ВСЁ ПОЧТИ ОДИНАКОВО? Визиты 10 540 10 000 Отзывы у отелей показываются Отзывы у отелей скрываются Брониров...
НА САМОМ ДЕЛЕ У ЗНАЧИТЕЛЬНОГО ЧИСЛА ОТЕЛЕЙ 
 И РАНЬШЕ НЕ БЫЛО ОТЗЫВОВ ! МЫ НЕПРАВИЛЬНО ЗАСЕТАПИЛИ ЭКСПЕРИМЕНТ И ПОЛУЧИЛИ...
ЗАСАДА №3
 СЕТАП ЭКСПЕРИМЕНТОВ — ДЕЛО ТОНКОЕ
ЛАДНО, ЕЩЕ ПРИМЕР
МЫ РЕШИЛИ СДЕЛАТЬ НЕСКОЛЬКО ЭКСПЕРИМЕНТОВ С ТЕКСТАМИ CALLTO ACTION КНОПОК 
 НА КАЖДОЙ СТРАНИЦЕ 
 В ОСНОВНОЙ ВОРОНКЕ
НА СТРАНИЦЕ ГОРОДА БУДЕТ ТЕСТ VS A НА СТРАНИЦЕ ОТЕЛЯ ПРОТЕСТИРУЕМ VS
Конверсия 2,1 % 2,0 % “Выбрать” “19 000 руб. за 2 ночи” Конверсия 2,1 % 2,0 % “Забронировать” “19 000 рублей” страница гор...
НО НА САМОМ ДЕЛЕ БЫЛО НЕ 2, А 4 ЭКСПЕРИМЕНТА
СТРАНИЦА ГОРОДА СТРАНИЦА
 ОТЕЛЯ + + + +
И ПОЛУЧЕННЫЕ ДАННЫЕ СИЛЬНО ИСКАЖЕНЫ И ИМ НЕЛЬЗЯ ДОВЕРЯТЬ
ЗАСАДА №4 ЭКСПЕРИМЕНТЫ СИЛЬНО ВЛИЯЮТ ДРУГ НА ДРУГА
КАК НАДО 
 НА САМОМ ДЕЛЕ?
1. НЕ ТЕСТИРУЙТЕ МЕЛОЧИ
ПО НАШИМ (И НЕ ТОЛЬКО НАШИМ) ПРИКИДКАМ – 8 ИЗ 10 ТЕСТОВ НЕ ПОКАЗЫВАЮТ ЗНАЧИМЫХ РЕЗУЛЬТАТОВ
2. НЕ ТЕСТИРУЙТЕ ТО ЧТО НЕ ВЛИЯЕТ НА ПОВЕДЕНИЕ ПОЛЬЗОВАТЕЛЕЙ
ВОТ ТУТ РЕБЯТА СДЕЛАЛИ ДВА СОВЕРШЕННО РАЗНЫХ ДИЗАЙНА ДЛЯ ЛЕНДИНГА
СТАТИСТИЧЕСКИ ЗНАЧИМОЙ РАЗНИЦЫ ОБНАРУЖИТЬ НЕ УДАЛОСЬ
3. НЕ ТЕСТИРУЙТЕ ТАМ ГДЕ НЕТ ДАННЫХ
ВОЗМОЖНО ЛУЧШЕ ПОДНЯТЬСЯ ЧУТЬ ВЫШЕ ПО ВОРОНКЕ
4. ПОМНИТЕ 
 О КОРРЕЛЯЦИИ ЭКСПЕРИМЕНТОВ
ИСКЛЮЧАЙТЕ ПОЛЬЗОВАТЕЛЯ, УЧАСТВУЮЩЕГО В ОДНОМ ЭКСПЕРИМЕНТЕ, ИЗ УЧАСТИЯ 
 В ДРУГИХ
ЛИБО ВООБЩЕ 
 НЕ ПРОВОДИТЕ ОДНОВРЕМЕННО НЕСКОЛЬКО ЭКСПЕРИМЕНТОВ
5. ТЕСТИРУЙТЕ НЕ ТОЛЬКО НА КОНВЕРСИЮ. ТЕСТИРУЙТЕ НА ВЫРУЧКУ, СРЕДНИЙ ЧЕК, ПРИБЫЛЬ, ЧТО УГОДНО ЕЩЕ
Конверсия 2,1 % 2,0 % Средний чек 300 $ 330 $ выигрыш на 5% потеря на 10% ТЕСТ РАЗНЫХ АЛГОРИТМОВ СОРТИРОВКИ
6. ТЩАТЕЛЬНО ПРОВЕРЯЙТЕ СЕТАП ЭКСПЕРИМЕНТА
ДУМАЮ, МЫ ПОТЕРЯЛИ МЕСЯЦЫ ВРЕМЕНИ, СОБИРАЯ БЕССМЫСЛЕННЫЕ ДАННЫЕ
7. ВВЕДИТЕ ПОНЯТИЕ ОПТИМАЛЬНОГО РАЗМЕРА ВЫБОРКИ


СМЫСЛ В ТОМ, ЧТО ДАННЫХ ВСЕГДА НЕ ХВАТАЕТ, НО НАДО УМЕТЬ ПОЛЬЗОВАТЬСЯ ТЕМ, 
 ЧТО ЕСТЬ
МОЖНО ОСТАНАВЛИВАТЬ ЭКСПЕРИМЕНТ И РАНЬШЕ, НО НУЖНО ВНИМАТЕЛЬНО ОЦЕНИВАТЬ СВОИ ШАНСЫ
7. СЧИТАЙТЕ ДОВЕРИТЕЛЬНЫЙ ИНТЕРВАЛ ДЛЯ КАЖДОЙ ГРУППЫ


8. ИСПОЛЬЗУЙТЕ A/B ТЕСТЫ ДЛЯ КОНТРОЛИРУЕМОЙ РАСКАТКИ 
 И ДЛЯ БЫСТРОГО ОТКЛЮЧЕНИЯ ОПАСНЫХ ФИЧ
ВЫВОДЫ
ПОДХОД К СНАРЯДУ 
 “В ЛОБ” ПРЕВРАТИТ ВАС В КУЛЬТИСТОВ КАРГО
ОБЛАЖАТЬСЯ В АНАЛИТИКЕ ВЕСЬМА ПРОСТО
ВСПОМИНАЙТЕ СТАТИСТИКУ
ПОДВЕРГАЙТЕ СОМНЕНИЮ ВСЁ, ЧТО ВЫ ВИДИТЕ
ИСПОЛЬЗУЙТЕ КАЖДЫЙ ИНСТРУМЕНТ ДЛЯ СВОЕЙ ЦЕЛИ
И ИТЕРИРУЙТЕСЬ ОЧЕНЬ БЫСТРО
ТАК ПОБЕДИМ!
ВОПРОСЫ?
ПОЛЕЗНЫЕ ССЫЛОЧКИ The GA funnel survival guide – https://blog.kissmetrics.com/conversion-funnel-survival-guide/ The fallac...
Продуктовая Аналитика — Карго Культ в современных компаниях
Продуктовая Аналитика — Карго Культ в современных компаниях
Продуктовая Аналитика — Карго Культ в современных компаниях
Продуктовая Аналитика — Карго Культ в современных компаниях
Nächste SlideShare
Wird geladen in …5
×

Продуктовая Аналитика — Карго Культ в современных компаниях

73.163 Aufrufe

Veröffentlicht am

В условиях быстрой разработки становится более важным и более сложным такой вопрос: если мы можем менять вектор развития продукта очень часто и умеем жить с изменяющимися требованиями, то как понять что мы рационально используем эту возможность, не прыгаем вперёд-назад, а остаемся сфокусированными в своём развитии продукта?

Тут, разумеется, есть куча инструментов и практик lean практики get out of the building, традиционная продуктовая аналитика и, конечно, всеми любимые A/B тесты.

Но многие бросившись использовать всё это внезапно понимают, что получившиеся процессы больше напоминают карго культы: A/B тестирование красных против зеленых кнопок на страницах где 100 человек в день с конверсией в 5% делают какой-то экшн. Или обвешивание счётчиками Google Analytics всех элементов интерфейса, который используют 3 человека в день. Или мы идем в гости к своим друзьям, чтобы узнать их мнение о новом дизайне, забывая о том что наши друзья совсем не репрезентативны.

С какими проблемами мы сталкивались, как мы разочаровались в этих практиках, успели их возненавидеть и как обратно поверили и полюбили эти и другие подходы развития и эволюции продук

Veröffentlicht in: Technologie
no profile picture user
  • Follow the link, new dating source: ♥♥♥ http://bit.ly/39sFWPG ♥♥♥
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • Dating direct: ❤❤❤ http://bit.ly/39sFWPG ❤❤❤
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • Веду Telegram-канал по аналитике: https://t.me/BigQuery Подписывайтесь, публикую интересные кейсы по работе с данными. В основном в Google BigQuery
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • @Evgeny Kuryshev было бы странно если бы да
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • @Anton Danilov Люди — крайне сложные существа, много чего происходит в их головах. Чем больше разных факторов влияют на конверсию, как биномиальную случайную величину (сконвертировался или нет), тем ближе её распределение к нормальному в соответствии с центральной предельной теоремой. Если бы мы измеряли что-то попроще, то вероятно нормальное распределение бы не подошло. В общем можно почитать Эвана Миллера на эту тему, как и на тему эволюции этого метода в сторону байесовских подходов, что в этой конкретной презентации не раскрывается, но про что я готов отдельно поговорить =)
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
Mehr anzeigen
Mehr anzeigen

Продуктовая Аналитика — Карго Культ в современных компаниях

  1. 1. Продуктовая аналитика Евгений Курышев Островок.ру Карго культ в современных компаниях
  2. 2. ЧТО ТАКОЕ 
 ПРОДУКТОВАЯ АНАЛИТИКА?
  3. 3. BUILD MEASURELEARN
  4. 4. BUILD MEASURELEARN
  5. 5. Дата поинты Воронки Сегменты Когорты Атрибуция Поведенческий анализ A/B тесты Кластеризация CLTV Анализ RFM Анализ
  6. 6. Analysis Services
  7. 7. ЧТО ТАКОЕ КУЛЬТ КАРГО?
  8. 8. ПОЧЕМУ 
 ПРОДУКТОВАЯ АНАЛИТИКА — ЭТО СЕГОДНЯШНИЙ КУЛЬТ КАРГО?
  9. 9. ПРОЦЕССЫ люди имитируют процессы, приводящие к результату
  10. 10. ИНСТРУМЕНТЫ компании создают инструменты, похожие на то, что нужно для решения задач
  11. 11. ДАННЫЕ мы собираем и храним их 
 почти как “настоящие сварщики”
  12. 12. ЖДЁМ ГУЛА САМОЛЁТОВ несущих недополученную выручку и квартальные бонусы
  13. 13. А ОНИ ВСЁ НЕ ЛЕТЯТ
  14. 14. ПРИМЕРЫ
  15. 15. ВЕБ-АНАЛИТИКА 
 И ВОРОНКИ
  16. 16. КАК ВЫГЛЯДИТ ПЛАН?
  17. 17. 1. поставим Google Analytics 2. построим воронки 3. найдем и исправим узкие места 4. … 5. PROFIT!!!!
  18. 18. КАК ПОЛУЧАЕТСЯ НА САМОМ ДЕЛЕ?
  19. 19. Посетители лэндинг форма регистрации письмо с подтверждением финиш 2 500 20 102 35 340 96 242
  20. 20. Посетители лэндинг форма регистрации письмо с подтверждением финиш 2 500 20 102 35 340 96 242
  21. 21. Посетители лэндинг форма регистрации письмо с подтверждением финиш 2 227 18 499 66 404 96 242
  22. 22. ЗАСАДА №1 ИЗМЕНЕНИЯ НА ОДНОМ ШАГЕ ВОРОНКИ МЕНЯЮТ ПОВЕДЕНИЕ И НА ПОСЛЕДУЮЩИХ
  23. 23. ВНЕЗАПНО ИЗМЕНИЛАСЬ ФОРМА ВОРОНКИ, НО ПРОДУКТ НЕ ИЗМЕНЯЛСЯ? вчера Посетители сегодня
  24. 24. ВОЗМОЖНО ИЗМЕНИЛСЯ МИКС МАРКЕТИНГОВЫХ КАНАЛОВ вчера SMM 12 % Direct 13 % SEM 34 % SEO 41 % сегодня SMM 7 % Direct 26 % SEM 40 % SEO 26 %
  25. 25. ВОЗМОЖНО ИЗМЕНИЛСЯ ИНВЕНТАРЬ И ПРОДАЖИ ПЕРЕРАСПРЕДЕЛИЛИСЬ вчера Ботинки 12 % Носки 13 % Колготки 34 % Трусы 41 % сегодня Сумки 23 % Ботинки 11 % Носки 37 % Колготки 17 % Трусы 13 %
  26. 26. ЗАСАДА №2 ИЗМЕНЕНИЕ ВОРОНКИ 
 НЕ ГОВОРИТ 
 ОБ ИЗМЕНЕНИИ ПРОДУКТА
  27. 27. Посетители лэндинг форма регистрации письмо с подтверждением финиш 14 120 220 550 ДЛЯ ХОРОШИХ ВЫВОДОВ ЧАСТО НЕ ХВАТАЕТ ДАННЫХ
  28. 28. РАЗМЕР ИМЕЕТ ЗНАЧЕНИЕ ЗАСАДА №3
  29. 29. КАК НАДО?
  30. 30. 1. ИЩИТЕ УЗКИЕ МЕСТА Посетители Лэндинг СЕРП Страница отеля Страница бронирования Ваучер 1 776 22 412 50 102 82 340 96 242 

  31. 31. 2. ДОБАВЛЯЙТЕ НОВЫЕ ШАГИ Посетители Страница отеля Страница бронирования Ваучер Посетители Страница отеля Страница бронирования Логин или создание аккаунта Ввод кредитной карты Ваучер
  32. 32. 3. ОТСЛЕЖИВАЙТЕ ДИНАМИКУ ВОРОНОК 
 С ИЗМЕНЕНИЕМ ПРОДУКТА до релиза Посетители после релиза
  33. 33. Воронка здорового человека Воронка курильщика 4. СОБИРАЙТЕ ВСЮ ИНФОРМАЦИЮ О ПРОТЕЧКАХ
  34. 34. 4. СОБИРАЙТЕ ВСЮ ИНФОРМАЦИЮ О ПРОТЕЧКАХ Посетители Страница отеля Страница бронирования Ваучер 

  35. 35. Нажимают "Back" Закрывают вкладку Нажимают на лого Нажимают "Справка" Остальное
  36. 36. 5. СЕГМЕНТИРУЙТЕ! Общая воронка Посетители Лэндинг Форма регистрации Письмо подтверждения Финиш 1 776 22 412 50 102 82 340
  37. 37. ATV 0…80 $ Посетители ATV 81…250 $ ATV 251…600 $ ATV 601+ $ Воронки по среднему чеку 5. СЕГМЕНТИРУЙТЕ!
  38. 38. • по маркетинговому каналу • по среднему чеку • по когортам • по демографии • по повторным продажам 5. СЕГМЕНТИРУЙТЕ!
  39. 39. 6. БУДЬТЕ ОСТОРОЖНЕЕ 
 В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 45 740 4 312 10 690
  40. 40. 
 6. БУДЬТЕ ОСТОРОЖНЕЕ 
 В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 45 740 4 312 10 690
  41. 41. 6. БУДЬТЕ ОСТОРОЖНЕЕ 
 В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 45 740 4 312 10 690
  42. 42. 7. ПОСТОЯННО СЛЕДИТЕ ЗА СОСТОЯНИЕМ ВОРОНОК Воронка регистрации Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 00 6 711 11 020
  43. 43. A/B ТЕСТИРОВАНИЕ
  44. 44. КАК ВЫГЛЯДИТ ПЛАН?
  45. 45. 1. интегрируем инструмент для A/B тестирования 2. будем тестировать по 5 маленьких изменений в день 3. если каждый A/B тест покажет пусть 5% прироста конверсии 4. через полгода конверсия достигнет 146% 5. … 6. PROFIT!!!!
  46. 46. КАК ПОЛУЧАЕТСЯ НА САМОМ ДЕЛЕ?
  47. 47. ПЕРВЫМ ДЕЛОМ, РАЗУМЕЕТСЯ, ПОИГРАЕМ ШРИФТАМИ
  48. 48. Визиты 671 556 Контрольная группа Тестовая группа Бронирования 69 50 Конверсия 10,3 %9,0 %
  49. 49. Визиты 671 556 Контрольная группа Тестовая группа Бронирования 69 50 Конверсия 10,3 %9,0 %
  50. 50. Визиты 671 556 Контрольная группа Тестовая группа Бронирования 69 50 Конверсия 10,3 %9,0 % 

  51. 51. ТЕПЕРЬ ТЕ ЖЕ САМЫЕ ДАННЫЕ ВЫГЛЯДЯТ НЕ ТАК ХОРОШО – СТАТИСТИЧЕСКОЙ РАЗНИЦЫ МЕЖДУ ГРУППАМИ НЕТ
  52. 52. ЗАСАДА №1
 НЕ ВСЕГДА ОЧЕВИДНО,
 КАКОЙ ВАРИАНТ ВЫИГРЫВАЕТ
  53. 53. ОСТАВЛЯЕМ ЭКСПЕРИМЕНТ ЕЩЕ НА ПАРУ ДНЕЙ COMIC SANS ДОЛЖЕН ПОБЕДИТЬ!
  54. 54. 
 Визиты 1 1501 020 Контрольная группа Тестовая группа Бронирования 121101 Конверсия 10,5 % 9,9 %
  55. 55. Визиты 1 1501 020 Контрольная группа Тестовая группа Бронирования 121101 Конверсия 10,5 % 9,9 %
  56. 56. ЗАСАДА №2
 СЛОЖНО ПОНЯТЬ, 
 КОГДА ЭКСПЕРИМЕНТ МОЖНО ЗАВЕРШИТЬ
  57. 57. ПРОВЕРИМ ЛУЧШЕ ВЛИЯНИЕ ОТЗЫВОВ ОТЕЛЕЙ НА КОНВЕРСИЮ
  58. 58. У КОНТРОЛЬНОЙ ГРУППЫ ОСТАВИМ ВСЁ КАК ЕСТЬ У ТЕСТОВОЙ ГРУППЫ ОТКЛЮЧИМ ОТОБРАЖЕНИЕ ОТЗЫВОВ НА СТРАНИЦЕ ОТЕЛЯ
  59. 59. ДА ПОЧЕМУ ОПЯТЬ ВСЁ ПОЧТИ ОДИНАКОВО? Визиты 10 540 10 000 Отзывы у отелей показываются Отзывы у отелей скрываются Бронирования 200 220 Конверсия 1,9 % 2,2 %
  60. 60. НА САМОМ ДЕЛЕ У ЗНАЧИТЕЛЬНОГО ЧИСЛА ОТЕЛЕЙ 
 И РАНЬШЕ НЕ БЫЛО ОТЗЫВОВ ! МЫ НЕПРАВИЛЬНО ЗАСЕТАПИЛИ ЭКСПЕРИМЕНТ И ПОЛУЧИЛИ OMITTEDVARIABLE BIAS
  61. 61. ЗАСАДА №3
 СЕТАП ЭКСПЕРИМЕНТОВ — ДЕЛО ТОНКОЕ
  62. 62. ЛАДНО, ЕЩЕ ПРИМЕР
  63. 63. МЫ РЕШИЛИ СДЕЛАТЬ НЕСКОЛЬКО ЭКСПЕРИМЕНТОВ С ТЕКСТАМИ CALLTO ACTION КНОПОК 
 НА КАЖДОЙ СТРАНИЦЕ 
 В ОСНОВНОЙ ВОРОНКЕ
  64. 64. НА СТРАНИЦЕ ГОРОДА БУДЕТ ТЕСТ VS A НА СТРАНИЦЕ ОТЕЛЯ ПРОТЕСТИРУЕМ VS
  65. 65. Конверсия 2,1 % 2,0 % “Выбрать” “19 000 руб. за 2 ночи” Конверсия 2,1 % 2,0 % “Забронировать” “19 000 рублей” страница города страница отеля ВТОРЫЕ ВАРИАНТЫ ПОБЕДИЛИ С ХОРОШИМ CONFIDENCE
  66. 66. НО НА САМОМ ДЕЛЕ БЫЛО НЕ 2, А 4 ЭКСПЕРИМЕНТА
  67. 67. СТРАНИЦА ГОРОДА СТРАНИЦА
 ОТЕЛЯ + + + +
  68. 68. И ПОЛУЧЕННЫЕ ДАННЫЕ СИЛЬНО ИСКАЖЕНЫ И ИМ НЕЛЬЗЯ ДОВЕРЯТЬ
  69. 69. ЗАСАДА №4 ЭКСПЕРИМЕНТЫ СИЛЬНО ВЛИЯЮТ ДРУГ НА ДРУГА
  70. 70. КАК НАДО 
 НА САМОМ ДЕЛЕ?
  71. 71. 1. НЕ ТЕСТИРУЙТЕ МЕЛОЧИ
  72. 72. ПО НАШИМ (И НЕ ТОЛЬКО НАШИМ) ПРИКИДКАМ – 8 ИЗ 10 ТЕСТОВ НЕ ПОКАЗЫВАЮТ ЗНАЧИМЫХ РЕЗУЛЬТАТОВ
  73. 73. 2. НЕ ТЕСТИРУЙТЕ ТО ЧТО НЕ ВЛИЯЕТ НА ПОВЕДЕНИЕ ПОЛЬЗОВАТЕЛЕЙ
  74. 74. ВОТ ТУТ РЕБЯТА СДЕЛАЛИ ДВА СОВЕРШЕННО РАЗНЫХ ДИЗАЙНА ДЛЯ ЛЕНДИНГА
  75. 75. СТАТИСТИЧЕСКИ ЗНАЧИМОЙ РАЗНИЦЫ ОБНАРУЖИТЬ НЕ УДАЛОСЬ
  76. 76. 3. НЕ ТЕСТИРУЙТЕ ТАМ ГДЕ НЕТ ДАННЫХ
  77. 77. ВОЗМОЖНО ЛУЧШЕ ПОДНЯТЬСЯ ЧУТЬ ВЫШЕ ПО ВОРОНКЕ
  78. 78. 4. ПОМНИТЕ 
 О КОРРЕЛЯЦИИ ЭКСПЕРИМЕНТОВ
  79. 79. ИСКЛЮЧАЙТЕ ПОЛЬЗОВАТЕЛЯ, УЧАСТВУЮЩЕГО В ОДНОМ ЭКСПЕРИМЕНТЕ, ИЗ УЧАСТИЯ 
 В ДРУГИХ
  80. 80. ЛИБО ВООБЩЕ 
 НЕ ПРОВОДИТЕ ОДНОВРЕМЕННО НЕСКОЛЬКО ЭКСПЕРИМЕНТОВ
  81. 81. 5. ТЕСТИРУЙТЕ НЕ ТОЛЬКО НА КОНВЕРСИЮ. ТЕСТИРУЙТЕ НА ВЫРУЧКУ, СРЕДНИЙ ЧЕК, ПРИБЫЛЬ, ЧТО УГОДНО ЕЩЕ
  82. 82. Конверсия 2,1 % 2,0 % Средний чек 300 $ 330 $ выигрыш на 5% потеря на 10% ТЕСТ РАЗНЫХ АЛГОРИТМОВ СОРТИРОВКИ
  83. 83. 6. ТЩАТЕЛЬНО ПРОВЕРЯЙТЕ СЕТАП ЭКСПЕРИМЕНТА
  84. 84. ДУМАЮ, МЫ ПОТЕРЯЛИ МЕСЯЦЫ ВРЕМЕНИ, СОБИРАЯ БЕССМЫСЛЕННЫЕ ДАННЫЕ
  85. 85. 7. ВВЕДИТЕ ПОНЯТИЕ ОПТИМАЛЬНОГО РАЗМЕРА ВЫБОРКИ
  86. 86. 

  87. 87. СМЫСЛ В ТОМ, ЧТО ДАННЫХ ВСЕГДА НЕ ХВАТАЕТ, НО НАДО УМЕТЬ ПОЛЬЗОВАТЬСЯ ТЕМ, 
 ЧТО ЕСТЬ
  88. 88. МОЖНО ОСТАНАВЛИВАТЬ ЭКСПЕРИМЕНТ И РАНЬШЕ, НО НУЖНО ВНИМАТЕЛЬНО ОЦЕНИВАТЬ СВОИ ШАНСЫ
  89. 89. 7. СЧИТАЙТЕ ДОВЕРИТЕЛЬНЫЙ ИНТЕРВАЛ ДЛЯ КАЖДОЙ ГРУППЫ
  90. 90. 

  91. 91. 8. ИСПОЛЬЗУЙТЕ A/B ТЕСТЫ ДЛЯ КОНТРОЛИРУЕМОЙ РАСКАТКИ 
 И ДЛЯ БЫСТРОГО ОТКЛЮЧЕНИЯ ОПАСНЫХ ФИЧ
  92. 92. ВЫВОДЫ
  93. 93. ПОДХОД К СНАРЯДУ 
 “В ЛОБ” ПРЕВРАТИТ ВАС В КУЛЬТИСТОВ КАРГО
  94. 94. ОБЛАЖАТЬСЯ В АНАЛИТИКЕ ВЕСЬМА ПРОСТО
  95. 95. ВСПОМИНАЙТЕ СТАТИСТИКУ
  96. 96. ПОДВЕРГАЙТЕ СОМНЕНИЮ ВСЁ, ЧТО ВЫ ВИДИТЕ
  97. 97. ИСПОЛЬЗУЙТЕ КАЖДЫЙ ИНСТРУМЕНТ ДЛЯ СВОЕЙ ЦЕЛИ
  98. 98. И ИТЕРИРУЙТЕСЬ ОЧЕНЬ БЫСТРО
  99. 99. ТАК ПОБЕДИМ!
  100. 100. ВОПРОСЫ?
  101. 101. ПОЛЕЗНЫЕ ССЫЛОЧКИ The GA funnel survival guide – https://blog.kissmetrics.com/conversion-funnel-survival-guide/ The fallacy of funnels – http://insideintercom.io/the-fallacy-of-funnels/ The guide to optimizing funnels – http://blog.kissmetrics.com/guide-to-optimizing-funnels/ Most AB tests will fail –http://www.jitbit.com/news/185-most-of-your-abtests-will-fail/ On determining sample sizes –https://signalvnoise.com/posts/3004-ab-testing-tech-note-determining-sample-size How not to do AB tests – http://www.evanmiller.org/how-not-to-run-an-ab-test.html Speed vs Certainty in AB – http://20bits.com/article/speed-vs-certainty-in-ab-testing

×