10. Como atender demandas de
lançamento de produto e mitigar
os riscos da “falta de tempo para
testar”?
11. Por quanto tempo vamos segurar o
lançamento do produto até que
100% dele esteja testado?
12. O Software está OK para o time de desenvolvimento
O Software está OK para o time de testes
O Software está OK para a diretoria
O Software está OK para o PO
13. ?
O Software atende as necessidades do cliente?
O Software surpreende positivamente o cliente?
O Software motiva o cliente?
O Software conquista o cliente?
Aqui na Locaweb os times de cada produto fazem testes A/B especialmente para validar usabilidade. Em geral, os produtos tem balanceamento e o que fazemos é colocar uma versão em uma máquina e outra versão na outra máquina. Através do balanceamento, que é aleatório, após um tempo, coletamos os resultados das pessoas que acessaram a pagina A e a pagina B para entender o que aparentemente leva as pessoas a comprarem mais e/ou usar mais/melhor o produto.
Estamos trabalhando na reformulação de alguns sistemas. Migramos parcialmente alguns clientes (apenas algumas funcionalidades), depois liberamos o acesso ao novo sistema para novos usuarios, e aos poucos estamos migrando os outros usuarios. A ideia com isso é mitigar os riscos da nova aplicação. Com menos clientes é mais fácil controlar se algo der errado e dá também para testar aceitacao. é sempre bom ter um botao de feedback na aplicacao para que o cliente possa contribuir com seus pontos.
Antes ainda de liberar para novos clientes de uma forma geral, colocamos uma opcao no painel do cliente para que ele pudesse se candidatar a nos ajudar a validar novas versoes do sistema. Para alguns desses clientes, mandamos convites e urls especificas para que eles pudessem nos ajudar e ainda retribuimos com algum bonus. Isso ocorreu antes ainda de liberar para novos clientes de uma forma geral o sistema.
Os testes de seguranca e performance sao realizados em producao já que a infra tambem influencia e eventualmente o ambiente de systemintegration pode nao estar 100% atualizado com relacao a regras de firewall e outros pontos que influenciam nesses testes. Esses testes sao executados sob agendamento, com uma equipe de plantao em uma warroom para tratar imediatamente problemas decorrentes desses testes. Ja tivemos casos por exemplo da equipe de seguranca derrubar tudo :)