O documento fornece um guia sobre como realizar testes A/B de forma efetiva para maximizar os resultados. Ele discute o que são testes A/B, como funcionam, como formular hipóteses, métricas a serem observadas e lições aprendidas com casos reais de uma empresa. O autor fornece dicas valiosas sobre a importância de usar dados para tomar decisões e não apenas opiniões, além de documentar os testes para permitir aprendizados futuros.

1. Teste A/B
Teste A/B
O que fazer para extrair o máximo
de um teste - Marcell Almeida

2. MARCELL ALMEIDA
Mini Currículo:
Graduado em Ciência da Computação e Product Manager
com foco em startups de rápido crescimento. Já fundou sua
própria startup fintech e agora lidera o Product Lab da
Catho/Seek, um laboratório de inovação.
Life Achievements:
● Vendeu um site quando tinha 14 anos
● Gosta de fazer Kitesurfing
● Já perdeu um carro na bolsa de valores em 2013
https://br.linkedin.com/in/almeidamarcell
Empresas por onde passei:
Outros projetos:

3. Agora antes de começar...

4. Ainda não é aluno da PM3?

5. Ainda não é aluno da PM3?

6. Ainda não é aluno da PM3?

8. Vamos começar!

9. Muitas empresas passam anos tentando empurrar goela
abaixo o que eles pensam ser um produto que todo mundo
quer. Mas na verdade eles deviam se perguntar por que
alguém precisa desse produto.
Entã
O que é
Test?

10. ● Um método científico adaptado do marketing
● Comparar duas ou mais versões para tirar conclusões
● Permite usar dados e estatística para determinar qual
versão é melhor
A/B tests são bons para

11. Como funciona?

12. Como funciona?

13. ● Mitigar riscos
● Ajudar a identificar o impacto de cada mudança
● Aumentar o aprendizado
A/B tests são bons para

14. Ferramentas

15. https://optimizely.com
Mudança de ferramenta no VivaReal

16. http://optimize.google.com
Mudança de ferramenta no VivaReal

17. 1. Speedindex (quando o primeiro
scroll está visualmente completo)
2. Time to interactive (indica quando
o usuário consegue interagir com o
site)
9.5s
12.5s
14s
7s
5.5s
4s
5s
10s
6s
2.5s
Mudança de ferramenta no VivaReal

18. Cuidado com Hippos!

19. HiPPOs
Highest Paid Person Opinion
Cuidado com Hippos!

20. Deixe os dados guiarem as suas decisões, não o HiPPOs
Cuidado com Hippos!

21. Como formular um teste

22.
Geral
Taxa de
Conversão
CTR da busca
para o anúncio
Controle-1 (C1) 1.23 51.96
Controle-1 (C2) 1.22 51.59
C1 Vs. C2 -0.75% -0.71%
Pouca diferença
Faça testes A/A

23. Sempre olhe as segmentações!
Efeitos contrários
podem se anular e
mascarar o
resultado final

24. 1. Defina o problema
2. Defina cenários
3. Defina as métricas que você quer impactar
4. Faça rascunhos com o time de UX
5. Design
6. Desenvolvimento
Como preparar um bom teste A/B?

25. Dados qualitativos dão uma ideia
do que deveria ser testado
Quantitativos
Dados quantitativos falam para
você onde testar
Qualitativos
Use dados quantitativos e qualitativos

26. Dados qualitativos dão uma ideia
do que deveria ser testado
Quantitativos
Dados quantitativos falam para
você onde testar
Qualitativos
1. Testes com usuário
2. Mapa de calor
3. Hotjar
4. Comentários nas lojas de app
5. Feedbacks recebidos pelo
suporte ou time de vendas
1. Tráfego web
2. Email marketing
3. Tickets (chamados)
abertos
Use dados quantitativos e qualitativos

27. "Se [variável], então [resultado], porque [racional]."
Formule uma hipótese

28. ● O elemento que vai ser
modificado
● Isole uma variável para o
A/B test
● Pense no Call to action,
visual ou formulário
"Se [variável], então [resultado], porque [racional]."
Formule uma hipótese

29. ● Preveja o resultado
● Use dados para determinar
o efeito dele
● Mais e-mails? Mais
signups? Mais CTA? Mais
conversão?
"Se [variável], então [resultado], porque [racional]."
Formule uma hipótese

30. ● Demonstre o quanto você
conhece os seus usuários
● O que vai estar provado
ser incorreto caso o
experimento seja igual ou
inferior ao atual?
"Se [variável], então [resultado], porque [racional]."
Formule uma hipótese

31. "Se as imagens chamarem mais atenção, então a
taxa de clique vai aumentar, porque sabemos que
as imagens são um dos fatores mais importantes
para quem busca um imóvel."
Formule uma hipótese

32. Hipótese forte
Se o funil de compra tiver menos
páginas, vamos aumentar a
conversão de compra da loja
Se a navegação for removida das
páginas de checkout, a taxa de
conversão em cada passo vai
aumentar porque o analytics do site
mostra que uma porção desses
usuários está deixando a página
antes de clicar no link dessas
páginas
Hipótese fraca
Hipóteses não devem ser genéricas

33. 1. Maior transparência na empresa
2. O aprendizado fica disponível para todos na empresa
3. Facilita olhar o histórico e pensar em hipóteses baseado no aprendizado
Documente os testes

34. Visão
Qualitativa
Métrica Objetivo
● Conversão / Sessão
Métricas Restritivas
● Taxa de Saída
● Taxa de Retorno
Métricas Explicativas
● CTR da Busca
● Scroll no Listing
● Tempo Médio de Sessão
Defina valores aceitáveis
para estas métricas antes do
teste!
+
Desenho do teste e métricas secundárias

35. https://docs.google.com/spreadsheets/d/1Iyu59yTY4X
CYuSwL7wCbKJFNYnOodis3CsIzbeid1aE/edit#gid=0
Calculadora

36. http://ferramentas.resultadosdigitais.com.br/
calculadora-teste-ab/resultado
Calculadoras mais simples

37. http://www.experimentationhub.com/p-value
.html
Calculadoras mais simples

38. ● Rode o teste por pelo menos 2 semanas
● Tenha um backlog de hipóteses
● Desenvolva novos testes enquanto outros estão rodando
● Não deixe de olhar as segmentações! Efeitos contrários podem se anular e
mascarar o resultado final
● Para ter 100% de certeza o teste precisa ter dado significância estatística
Regras básicas

39. Exemplos

43. Para refletir...

44. A receita total aumentou em um
24,7% e a Receita Por Visita
(RPV) em 17,1%.
Vencedor!
Para refletir...

45. 1) Caixas de código promocional estavam fazendo com que os clientes saíssem do site na
hora de confirmar o pedido! Quando o usuário vê a opção de "Vale Presente" ou
"Cupom de desconto" antes da página de pagamento é como se você tivesse pedindo
para ele procurar algo que fosse dar um desconto. E isso faz com o que ele vá, de fato,
buscar.
Para refletir...

46. Por que deu certo?
"Sempre que você deixar a porta aberta para que um usuário
deixe o funil de conversão - mesmo que pareça que eles
voltariam - você corre o risco de perder vendas".
Para refletir...

47. Para refletir...

48. Forneça os códigos de desconto disponíveis aos visitantes antecipadamente (nas páginas do próprio
produto) pode ser uma alternativa para o problema. É assim que a Myntra, uma loja de comércio eletrônico
de moda indiana, faz isso com estilo:
Para refletir...

49. Para refletir...

50. Cases VivaReal

51. Case 1: Aumentar a taxa de conversão no mobile

52. Case 1: Aumentar a taxa de conversão no mobile

53. A B
Case 1: Aumentar a taxa de conversão no mobile

54. "De acordo com a
pesquisa, os usuários
resistem ao contato com
o anunciante,
especialmente por e-mail,
porque temem que o
agente nunca atenda.
Talvez ao expor
diferentes o telefone no
mobile site possamos
aumentar a taxa de
conversão"
- Taxa de conversão de
leads total
- Taxa de conversão de
leads de telefone
- Taxa de conversão de
leads por e-mail
Hipótese Métrica principal Métricas secundárias
Case 1: Aumentar a taxa de conversão no mobile

55. A B
Vencedor!
17% + leads
Confiança: Alta
Range: 10%-24%
Case 1: Aumentar a taxa de conversão no mobile

56. A
Case 2: Aumentar a taxa de conversão no desktop
e mobile

57. Hipótese Métrica principal Métricas secundárias
"Os usuários resistem ao
contato com o
anunciante,
especialmente por e-mail,
porque temem que o
agente nunca atenda.
Colocando que o
anunciante está ou esteve
online a pouco tempo
pode aumentar a
confiança e, por
consequência, aumentar
a conversão
- Taxa de conversão de
leads total
- Taxa de conversão de
leads de telefone
- Taxa de conversão de
leads por e-mail
Case 2: Aumentar a taxa de conversão no desktop
e mobile

58. A B
Case 2: Aumentar a taxa de conversão no desktop
e mobile

59. A B
Vencedor!
4.6% + leads
Confiança: Alta
Range: 1.4%-7.7%
Case 2: Aumentar a taxa de conversão no desktop
e mobile

60. Case 3: Aumentar a taxa de conversão no desktop
e mobile

61. A B
Case 3: Aumentar a taxa de conversão no desktop
e mobile

62. A B
Hipótese Métrica principal Métricas secundárias
"Os usuários resistem ao
contato com o
anunciante,
especialmente por e-mail,
porque temem que o
agente nunca atenda.
Colocando que o
anunciante é qualificado
pode aumentar a
confiança e, por
consequência, aumentar
a conversão
- Taxa de conversão de
leads total
- Taxa de conversão de
leads de telefone
- Taxa de conversão de
leads por e-mail
Case 3: Aumentar a taxa de conversão no desktop
e mobile

63. A B
Case 3: Aumentar a taxa de conversão no desktop
e mobile

64. A B
Possível vencedor!
2.3% + leads
Confiança: Média
Range: - 0.79% a 5.4%
Case 3: Aumentar a taxa de conversão no desktop
e mobile

65. A
B
C
Case 4: Destaque para os filtros mais importantes

66. "Se os usuários filtrarem
mais, então a taxa de
conversão vai aumentar,
porque usuários que
filtram mais convertem
mais já que ele encontra
com mais facilidade o
imóvel relevante para
ele."
- Taxa de conversão de
leads
- CTR Busca > Imóvel
- Uso dos filtros
- Paginação
Hipótese Métrica principal Métricas secundárias
Case 4: Destaque para os filtros mais importantes

67. A
B
C
Case 4: Destaque para os filtros mais importantes

68. A
B
C
Vencedor!
+2.09% leads
Case 4: Destaque para os filtros mais importantes

69. A
B
C
-3.5% iterações no
site. Conversão igual
Vencedor!
+2.09% leads
Case 4: Destaque para os filtros mais importantes

70. Case 5: Mudança nos cards da RP

71. "Se as imagens
chamarem mais atenção,
então a taxa de clique vai
aumentar, porque
sabemos que as imagens
são um dos fatores mais
importantes para quem
busca um imóvel."
- Taxa de conversão de
leads
- CTR Busca > Imóvel
- Bounce Rate
Hipótese Métrica principal Métricas secundárias
Case 5: Mudança nos cards da RP

72. Case 5: Mudança nos cards da RP

73. Vencedor!
8% melhor
Case 5: Mudança nos cards da RP

74. Case 6: Busca com grid

75. Case 6: Busca com grid

76. Vencedor!
7% melhor
Case 6: Busca com grid

77. Vencedor!
7% melhor
Riscos com SEO

78. Case 7: Aumentar leads de lançamento

79. Case 7: Aumentar leads de lançamento

80. Sem impacto em
métricas
Case 7: Aumentar leads de lançamento

81. Case 8: Busca por mapa

82. Case 8: Busca por mapa

83. Case 8: Busca por mapa

84. Vencedor!
4% melhor
>>> DICAS
Case 8: Busca por mapa

85. Case 8: Busca por mapa

86. Case 8: Busca por mapa

87. Agora antes de acabar...

88. http://bit.ly/marcell-abtest-cupom
PARA GANHAR
10% OFF
Ou digite: ABMARCELL no checkout

89. @almeidamarcell
MUITO
OBRIGADO!
https://www.linkedin.com/in/almeidamarcell
https://www.productcamp.com.br/
slideshare.net/almeidamarcell