Andrii Mandrika "Actual methods of checking product hypotheses"
•Als PPTX, PDF herunterladen•
0 gefällt mir•115 views
Kyiv PMDay 2019 Spring Stream: Product
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Andrii Mandrika "Actual methods of checking product hypotheses"
Ähnlich wie Andrii Mandrika "Actual methods of checking product hypotheses" (20)
Mehr von Lviv Startup Club
Mehr von Lviv Startup Club (20)
Andrii Mandrika "Actual methods of checking product hypotheses"
- 1. Актуальные методы проверки продуктовых гипотез Андрей Мандрика Product Owner,Dreamteam.gg
- 2. ABOUT ME • 8+ лет в ІТ, за которые прошел путь от Технического писателя, QA, разработчика, Бизнес аналитика, руководителя проектов, и владельца продуктов на разнообразных проектах; • Certified Scrum Product Owner (CSPO); • Business Value Analysis Certified Professional (ICP-BVA); • Agile Project Management Certified Professional (ICP-APM); improve yourself CONTINUOSLY Product Owner @ Dreamteam.gg Consultant & trainer @ E5 Андрей Мандрика
- 4. Комбинация чисел: 5, 7, 9 Задача: Назвать правило макс. точно по которому была составлена комбинация Ограничения: Всего 3 попытки назвать правило, но неограниченное количество экспериментов для уточнения правила
- 5. Что такое гипотеза? «Гипо́теза — предположение или догадка; утверждение, предполагающее доказательство. Гипотеза считается научной, если она удовлетворяет научному методу, то есть потенциально может быть проверена критическим экспериментом... ...Гипотезу впоследствии или доказывают, превращая её в установленный факт, или же опровергают, переводя в разряд ложных утвержденй...» (с) Wikipedia
- 7. 7 шагов научного метода Наблюдение Постановка проблемы Формулиров ка гипотезы Эксперимент Анализ полученных результатов Заключение Воспроизвод имость
- 9. Как это работает на практике?
- 13. Пример гипотезы Идея: Добавление блока рекомендуемых товаров на страницу товара Продукт: Интернет магазин Гипотеза: Я верю, что отображение блока рекомендуемых товаров (с этим товаром чаще всего покупают…) на страницу с конкретным продуктом Для покупателей Позволит достичь увеличения среднего количества товаров в чеке минимум на 20%.
- 14. Какие методы валидации гипотез вы знаете?
- 17. Strategize Execute Assess Product development phases
- 18. Strategize phase Goal: Inspire, explore and choose new directions and opportunities Approach: Qualitative and Quantitative
- 19. Основные гипотезы на этой фазе
- 21. Сoming soon
- 23. Coming soon
- 24. Survey
- 26. Execute phase Goal: Inform and optimize designs in order to reduce risk and improve usability Approach: Mainly Qualitative (formative)
- 27. Основные гипотезы на этой фазе
- 30. Card Sorting
- 32. Assess phase Goal: Measure product performance against itself or its competition Approach: Mainly Quantitative (summative)
- 33. Основные гипотезы на этой фазе
- 34. Data Analysis
- 35. Heatmaps
- 38. Polls
- 40. Customer Emails
- 41. A/B testing
- 43. Какой метод проверки выбрать? Идея: Добавление блока рекомендуемых товаров на страницу товара Продукт: Интернет магазин Гипотеза: Я верю, что отображение блока рекомендуемых товаров (с этим товаром чаще всего покупают…) на страницу с конкретным продуктом Для покупателей Позволит достичь увеличения среднего количества товаров в чеке минимум на 20%.
- 45. Весь процесс
- 46. Спасибо за внимание! Экспериментируйте и Ведите ваши продукты к успеху! Andrii Mandrika Contacts: andrii.mandrika@gmail.com facebook: Andrii Mandrika linkedin.com/in/andrii- mandrika Skype: mandrikaandrew
Hinweis der Redaktion
- Познакомимся. Кто из вас работает в продуктовых компаниях? Кто на позиции ПО или ПдМ? Кто имеет доступ к конечным пользователям? Кто из вас работал / работает с требованиями в формате гипотезы?
- Итак название сегодняшнего доклада звучит как актуальные методы проверки продуктовых гипотез. Какая его цель? 1) Рассказать о процессе разработки продукта с использованием продуктовых гипотез 2) Ознакомить вас с известными методами валидации продуктовых гипотез и рассказать о своем опыте их использования для решения разнообразных продуктовых задач. Почему это актуально. В свое время, когда я начал работать в продуктовой компании, да еще и в б2с, где ты имеешь дело не с каким-то заказчиком на стороне бизнеса, а с реальным рынком, с реальными пользователями, которые даже не знают о существовании твоего продукта, то твое восприятие процесса разработки продукта в корне меняется. Как мы с вами привыкли работать в классических ит проектах, особенно аутсорсных. Нам заранее известно
- Давайте рассмотрим пример. Я позаимствовала его на курсе «Психология сознания» при СПбГУ: ведущий загадал правило, которое студентам предлагалось разгадать. Ведущий назвал первую комбинацию, построенную согласно правилу и предложил студентам разгадать его, выдвигая гипотезы, то есть свои комбинации, позволяющие подтвердить или опровергнуть догадки. Например: 5, 7, 9. Как вы думаете, какое правило загадал ведущий? Наверняка вы уже готовы назвать его. Но пока воздержитесь. Один из студентов попробовал задать свою последовательность чисел, которая способно уточнить правило. Он озвучил последовательность: 9, 11, 13. «Эта последовательность подходит под загаданное правило», сказал ведущий. Следующий студент назвал последовательность: 17, 19, 21. «Эта последовательность тоже подходит под загаданное правило», сказал ведущий. Наверняка вы сейчас утвердились в изначальной своей догадке. Студенты тоже приняли решение назвать правило, сформировав его как «каждое последующее число больше предыдущего на 2».Это было не то правило, которое загадал ведущий.Студенты оказались в замешательстве. Тогда они приняли решение продолжить называть последовательности, чтобы снова попытаться разгадать правило, изначально загаданное ведущим:82, 84, 86100, 102, 1041000002, 1000004, 1000006Все последовательности подходили под загаданное правило.Тогда один из студентов назвал последовательность 1, 2, 3,. И оно тоже соответствовало правилу.-10, -8, -6, тоже соответствовало- 10, -2, √7 тоже подходило под правилоА вот последовательность 7, 9, 3 – уже нет.5, 100, -30 – тоже не подходило под правило.Тогда один из студентов предположил, что загаданное правило звучит просто как «последовательность увеличивающихся чисел». И оказался прав.Если проанализировать этот опыт, то мы можем наблюдать здесь несколько гипотез, которые пытались проверить студенты, а именно:1) последовательность, в которой каждое последующее число больше предыдущего на 2;2) последовательность включает только четные или только нечетные числа;3) студенты пытались нащупать границы правила, то есть только трехзначные, семизначные числа;4) последовательность включает только положительные значения;5) количество чисел в последовательности не имеет значения;6) последовательность может уменьшаться.И хотя сразу напрашивалась гипотеза о последовательности, в которой каждое последующее число больше предыдущего на 2, или вариация с нечетными числами, обратите внимание, что студенты разгадали правило не благодаря подтверждению изначальной гипотезы, а благодаря тем попыткам, в которым они пытались выйти за рамки предполагаемого правила и опровергнуть первоначальную гипотезу. И только благодаря опровержениям (например, 1, 2, 3 или 7, 9, 3) удалось разгадать изначальное правило.Рискну предположить, что, если бы мы рассматривали вариант тестирования гипотезы на примере стартапа, мы бы не пошли дальше первой гипотезы. Получив сразу же подтверждение о том, что несколько названых последовательностей не перечат изначальной гипотезе, почти любой остановился бы и признал изначальную гипотезу подтвержденной. А если гипотеза касалась бы предпочтений клиентов?
- Alignment - Clarifying the most important cornerstones of the project like what the context is, how it ts into the overall strategy, how to measure success or what not to do. Research & User Problems - Either starting to understand your users or updating the existing knowledge on them. This phase typically includes the gathering and interpretation of qualitative and quantitative data. Ideation - Based on what you've found out about your user's needs, it's time to think big for coming up with lots of creative solutions to pursue. Creation - Ideas are worth nothing if you can't turn them into tangible products or features. This phase typically involves lots of prototyping with all the tools you have (like paper, fancy interactive prototyping tools or areas in your existing product). Validation - To validate your solutions, you sometimes need to get very creative. You might be able to "simply" test your prototype through qualitative interviews. But maybe you also need to work with a Concierge or Wizard of Oz Test like faking your product's capabilities through manually curated e-mails. Refinement - While it's fun to cycle through different variations of your prototype, you need to put things into order for the transition into delivery. This typically means incorporating the latest user feedback changes, slicing down the concept and maybe even starting to plan the first set of releases.
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- Зачем нужен этот шаблон? Можно же просто сказать, что добавление этой функции улучшит ситуацию с продуктом. Но в этой фразе нету конкретики. Это не по смарту. Мы не можем однозначно ответить – гипотеза подтверждена или опровергнута? Например в результате добавления функции какой-то конкретный показатель увеличился на 10 процентов, но 2 остальных уменьшились – это подтверждает или опровергает нашу гипотезу?
- Пример с интернет магазина Гипотеза Я верю, что добавление блока рекомендуемых товаров (с этим товаром чаще всего покупают…) на страницу с конкретным продуктом увеличит среднее количество товаров в чеке минимум на 20%. Текущий показатель – 1.2 товара. То есть нам необходимо добиться показателя минимум 1.44. Наименьшее что я могу сделать это: Предположения 1. Люди читают письмо с деталями заказа или покупки, чтобы еще раз удостовериться в правильности выбора. 2. Если покупатели будут покупать сопутствующие товары с самыми популярными товарами на сайте, то будут покупать и для всех остальных. Эксперимент Анализ данных + Мейл + Волшебник страны ОЗ + А/Б тест (Если уже реализовано письмо – «Спасибо за покупку»): Взять 3 самых популярных товара, которые чаще всего покупают (можно и 1, но для 3 будет быстрее) + найти топ 3 товара которые чаще всего были в одном чеке с вышеупомянутыми самыми популярными товарами. Составить шаблон письма для каждого из них, которое бы высылалось после совершения покупки вышеупомянутых самых популярных товаров, и где бы предлагалось купить еще сопутствующие товары. 1.1. Слать такое письмо вручную после каждого заказа самого популярного товара – Не требует ресурса разработки! 1.2. Если уже есть письмо »спасибо за заказ», то слать разные шаблоны письма в зависимости от товара. Поставить блок на страницу 3 самых популярных товаров с 3 товарами, которые покупают чаще всего (Хардкод) Гипотеза подтверждена если В результате проведения 2 недельного??? Эксперимента у клиентов, которые видели рекомендуемые товары серднее количество товаров в чеке будет на 20% больше чем у тех покупателей, которые не видели сообщения. Что делать если в результате проведения эксперимента получилось увеличение всего 5%? Эта гипотеза не подтверждена, но динамика позитивная и можно дальше продолжать экспериментировать с этой идеей. Возможно что-то не так с вашим ЮХ, возможно сопутствующие товары подобраны неправильно. Поэтому в этом случае я бы дальше трекал через ивенты в га или через хитмап количество взаимодействий с этим блоком, чтобы понять насколько им интересуются в принципе.
- На этой фазе мы определяем в принципе есть ли смысл делать продукт или фичу.
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- Как проходит - наметить действия которые мы бы хотели, чтобы он прошел + финальная точка успеха задать цель юзеру Наблюдать Отметить прохождение + комментарии
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- Оптимизировать воронку надо с конца
- Оптимизировать воронку надо с конца
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- СДЛС в дримтиме с гипотезами
- Оптимизировать воронку надо с конца
- Пример с интернет магазина Гипотеза Я верю, что добавление блока рекомендуемых товаров (с этим товаром чаще всего покупают…) на страницу с конкретным продуктом увеличит среднее количество товаров в чеке минимум на 20%. Текущий показатель – 1.2 товара. То есть нам необходимо добиться показателя минимум 1.44. Наименьшее что я могу сделать это: Предположения 1. Люди читают письмо с деталями заказа или покупки, чтобы еще раз удостовериться в правильности выбора. 2. Если покупатели будут покупать сопутствующие товары с самыми популярными товарами на сайте, то будут покупать и для всех остальных. Эксперимент Анализ данных + Мейл + Волшебник страны ОЗ + А/Б тест (Если уже реализовано письмо – «Спасибо за покупку»): Взять 3 самых популярных товара, которые чаще всего покупают (можно и 1, но для 3 будет быстрее) + найти топ 3 товара которые чаще всего были в одном чеке с вышеупомянутыми самыми популярными товарами. Составить шаблон письма для каждого из них, которое бы высылалось после совершения покупки вышеупомянутых самых популярных товаров, и где бы предлагалось купить еще сопутствующие товары. 1.1. Слать такое письмо вручную после каждого заказа самого популярного товара – Не требует ресурса разработки! 1.2. Если уже есть письмо »спасибо за заказ», то слать разные шаблоны письма в зависимости от товара. Поставить блок на страницу 3 самых популярных товаров с 3 товарами, которые покупают чаще всего (Хардкод) Гипотеза подтверждена если В результате проведения 2 недельного??? Эксперимента у клиентов, которые видели рекомендуемые товары серднее количество товаров в чеке будет на 20% больше чем у тех покупателей, которые не видели сообщения. Что делать если в результате проведения эксперимента получилось увеличение всего 5%? Эта гипотеза не подтверждена, но динамика позитивная и можно дальше продолжать экспериментировать с этой идеей. Возможно что-то не так с вашим ЮХ, возможно сопутствующие товары подобраны неправильно. Поэтому в этом случае я бы дальше трекал через ивенты в га или через хитмап количество взаимодействий с этим блоком, чтобы понять насколько им интересуются в принципе.
- СДЛС в дримтиме с гипотезами
- + база знаний
- Основная мысль, которую я хочу донести – это что в продуктовом бизнесе надо объединяться вокруг велью стрима. Это позволяет делать только необходимые для развития бизнеса вещи, и значительно быстрее.