O mercado tem exigido cada vez mais rapidez nas entregas dos times de desenvolvimento, para atender as demandas de negócio e manter a competitividade. Para garantir que essas entregas aconteçam no tempo esperado e com qualidade, é muito importante investir em todos os níveis de teste automatizados. Vamos ver quais são esses níveis de teste e alguns exemplos práticos usando Python de testes unitários, integração, funcionais, performance e mutação.

1. Ajudamos empresas a criar produtos digitais de sucesso
@samantacicilia

2. Importância de Testes Automatizados para
Continuous Delivery & DevOps
@samantacicilia

3. Conteúdo:
● Importância de Testes Automatizados
● Quadrante de Testes
● Pirâmide de Testes & Anti-padrões
● Tipos de Teste & Continuous Delivery
● Demo
● Referências

4. Importância de Testes Automatizados
@samantacicilia

5. Testes automatizados?

6. Testes automatizados?
● Feedback rápido;

7. Testes automatizados?
● Feedback rápido;
● Menos passível de erro de execução;

8. Testes automatizados?
● Feedback rápido;
● Menos passível de erro de execução;
● Executar testes automatizados no decorrer do pipeline ++ qualidade;

9. Testes automatizados?
● Feedback rápido;
● Menos passível de erro de execução;
● Executar testes automatizados no decorrer do pipeline ++ qualidade;
● Melhoria Contínua na Estratégia de Testes;

10. Testes automatizados?
● Feedback rápido;
● Menos passível de erro de execução;
● Executar testes automatizados no decorrer do pipeline ++ qualidade;
● Melhoria Contínua na Estratégia de Testes;
● Testes = especificação executável do comportamento do sistema;

11. Testes automatizados?
● Feedback rápido;
● Menos passível de erro de execução;
● Executar testes automatizados no decorrer do pipeline ++ qualidade;
● Melhoria Contínua na Estratégia de Testes;
● Testes = especificação executável do comportamento do sistema;
● Feedback, Feedback, Feedback;

12. Quadrante de Testes
@samantacicilia

14. Pirâmide de Testes
@samantacicilia

17. Anti-padrões
@samantacicilia

20. Tipos de Teste & Continuous Delivery
@samantacicilia

21. Testes Unitários
@samantacicilia

22. Testes Unitários:

23. Testes Unitários:
● Feedback extremamente rápido;

24. Testes Unitários:
● Feedback extremamente rápido;
● 10-minute build (eXtreme Programming);

25. Testes Unitários:
● Feedback extremamente rápido;
● 10-minute build (eXtreme Programming);
● Testes de valores limite, diferentes combinações, exceções…

26. Testes Unitários:
● Feedback extremamente rápido;
● 10-minute build (eXtreme Programming);
● Testes de valores limite, diferentes combinações, exceções…
● Cobertura de Código;

27. Testes Unitários:
● Feedback extremamente rápido;
● 10-minute build (eXtreme Programming);
● Testes de valores limite, diferentes combinações, exceções…
● Cobertura de Código;
● Segurança para fazer mudanças (eXtreme Programming);

28. Testes Unitários:
● Feedback extremamente rápido;
● 10-minute build (eXtreme Programming);
● Testes de valores limite, diferentes combinações, exceções…
● Cobertura de Código;
● Segurança para fazer mudanças (eXtreme Programming);
● Qualidade também nos testes unitários!

29. Testes Unitários:
● Feedback extremamente rápido;
● 10-minute build (eXtreme Programming);
● Testes de valores limite, diferentes combinações, exceções…
● Cobertura de Código;
● Segurança para fazer mudanças (eXtreme Programming);
● Qualidade também nos testes unitários!
● Test Driven Development;

30. Testes Unitários:
● Feedback extremamente rápido;
● 10-minute build (eXtreme Programming);
● Testes de valores limite, diferentes combinações, exceções…
● Cobertura de Código;
● Segurança para fazer mudanças (eXtreme Programming);
● Qualidade também nos testes unitários!
● Test Driven Development;
● Design de Código que permita testes;

31. Testes Unitários:
● Feedback extremamente rápido;
● 10-minute build (eXtreme Programming);
● Testes de valores limite, diferentes combinações, exceções…
● Cobertura de Código;
● Segurança para fazer mudanças (eXtreme Programming);
● Qualidade também nos testes unitários!
● Test Driven Development;
● Design de Código que permita testes;
● Mocks;

32. Ferramentas:

33. Link das Ferramentas:
● http://junit.org/junit4/
● http://www.nunit.org/
● http://testng.org/doc/index.html
● https://phpunit.de/
● http://jasmine.github.io/
● https://mochajs.org/
● http://robolectric.org/
● http://rspec.info/
● https://docs.python.org/2.7/library/unittest.html

34. Cobertura & Análise Estática:

35. Cobertura & Análise Estática:
● Verificar qual a % do seu código da aplicação está coberto por testes;

36. Cobertura & Análise Estática:
● Verificar qual a % do seu código da aplicação está coberto por testes;
● Analisar seu código de acordo com algumas regras;

37. Cobertura & Análise Estática:
● Verificar qual a % do seu código da aplicação está coberto por testes;
● Analisar seu código de acordo com algumas regras;
● Verificação por estilo (identação, espaços, convenção de nomes, comentários…);

38. Cobertura & Análise Estática:
● Verificar qual a % do seu código da aplicação está coberto por testes;
● Analisar seu código de acordo com algumas regras;
● Verificação por estilo (identação, espaços, convenção de nomes, comentários…);
● Verificação por boas práticas (duplicação de código, encoding, tamanho de métodos e
classes, criação de variáveis desnecessárias…);

39. Cobertura & Análise Estática:
● Verificar qual a % do seu código da aplicação está coberto por testes;
● Analisar seu código de acordo com algumas regras;
● Verificação por estilo (identação, espaços, convenção de nomes, comentários…);
● Verificação por boas práticas (duplicação de código, encoding, tamanho de métodos e
classes, criação de variáveis desnecessárias…);
● Verificação por bugs (antecipar possíveis problemas);

40. Ferramentas:

41. Link das Ferramentas:
● https://coverage.readthedocs.io/en/coverage-4.0.3/
● https://github.com/colszowka/simplecov
● http://emma.sourceforge.net/
● https://github.com/jacoco/jacoco
● https://www.ncover.com/
● http://blanketjs.org/
● https://github.com/jonreid/XcodeCoverage
● https://coveralls.io/

42. Ferramentas:

43. Link das Ferramentas:
● http://www.sonarqube.org/
● https://codeclimate.com/
● https://github.com/es-analysis/plato/
● https://github.com/dafiti/cs/
● http://checkstyle.sourceforge.net/
● http://findbugs.sourceforge.net/
● https://www.pylint.org/
● https://stylecop.codeplex.com/

44. Testes de Mutação:

45. Testes de Mutação:
● Testar seus Testes Unitários;

46. Testes de Mutação:
● Testar seus Testes Unitários;
● Ferramenta introduz mutações no seu código e executa os testes unitários;

47. Testes de Mutação:
● Testar seus Testes Unitários;
● Ferramenta introduz mutações no seu código e executa os testes unitários;
● Se os testes falharem = OK!

48. Testes de Mutação:
● Testar seus Testes Unitários;
● Ferramenta introduz mutações no seu código e executa os testes unitários;
● Se os testes falharem = OK!
● Se os testes passarem = NOK!

49. Testes de Mutação:

50. Ferramentas:

51. Link das Ferramentas:
● http://pitest.org/
● https://pypi.python.org/pypi/MutPy
● https://ninjaturtles.codeplex.com/
● http://visualmutator.github.io/web/
● https://github.com/mbj/mutant
● http://jumble.sourceforge.net/

52. Testes de Serviços
@samantacicilia

53. Testes de Serviços:

54. Testes de Serviços:
● Depois dos Testes de Unidade e antes dos Testes de UI;

55. Testes de Serviços:
● Depois dos Testes de Unidade e antes dos Testes de UI;
● Testar seu app + módulos, componentes, banco de dados;

56. Testes de Serviços:
● Depois dos Testes de Unidade e antes dos Testes de UI;
● Testar seu app + módulos, componentes, banco de dados;
● Sem interface;

57. Testes de Serviços:
● Depois dos Testes de Unidade e antes dos Testes de UI;
● Testar seu app + módulos, componentes, banco de dados;
● Sem interface;
● Stubs;

58. Testes de Serviços:
●Integração/Componentes
●Contratos
●API/Webservices

59. Ferramentas:

60. Link das Ferramentas:
● https://www.soapui.org/
● https://github.com/jayway/rest-assured
● http://flask-restless.readthedocs.io/en/stable/
● http://frisbyjs.com/
● https://github.com/visionmedia/supertest
● https://github.com/svanoort/pyresttest
● https://github.com/rest-client/rest-client
● https://github.com/brooklynDev/airborne

61. Testes de UI
@samantacicilia

62. Testes Funcionais:

63. Testes Funcionais:
● Lentos :(

64. Testes Funcionais:
● Lentos :(
● Fluxos principais da aplicação;

65. Testes Funcionais:
● Lentos :(
● Fluxos principais da aplicação;
● Diferentes browsers (IE, Firefox, Chrome, Safari & Headless);

66. Testes Funcionais:
● Lentos :(
● Fluxos principais da aplicação;
● Diferentes browsers (IE, Firefox, Chrome, Safari & Headless);
● Mobile;

67. Ferramentas:

68. Link das Ferramentas:
● http://www.seleniumhq.org/
● https://github.com/jnicklas/capybara
● http://angular.github.io/protractor/#/
● https://github.com/RobotiumTech/robotium
● http://calaba.sh/
● http://appium.io/

69. Testes de Regressão Visual:
● Comparação de Imagens;

70. Testes de Regressão Visual:
● Comparação de Imagens;

71. Ferramentas:

72. Link das Ferramentas:
● https://github.com/yahoo/kobold
● https://github.com/Huddle/PhantomCSS
● https://applitools.com/
● https://dpxdt-test.appspot.com/
● https://github.com/BBC-News/wraith
● https://github.com/xebia/VisualReview

73. Testes de Performance:

74. Testes de Performance:
● Comportamento da aplicação diante de uma carga conhecida;

75. Testes de Performance:
● Comportamento da aplicação diante de uma carga conhecida;
● Baselines;

76. Testes de Performance:
● Comportamento da aplicação diante de uma carga conhecida;
● Baselines;
● Ter um ambiente para esses testes;

77. Testes de Performance:
● Comportamento da aplicação diante de uma carga conhecida;
● Baselines;
● Ter um ambiente para esses testes;
● Definir as métricas;

78. Testes de Performance:
● Comportamento da aplicação diante de uma carga conhecida;
● Baselines;
● Ter um ambiente para esses testes;
● Definir as métricas;
● Análise automática???

79. Ferramentas:

80. Link das Ferramentas:
● http://www.radview.com/pt-br/baixe-o-webload/
● https://smartbear.com/product/loadcomplete/overview/
● http://www.neotys.com/neoload/overview
● http://jmeter.apache.org/
● http://grinder.sourceforge.net/
● http://locust.io/
● http://gatling.io/
● https://www.loadui.org/

81. E Continuous Delivery?
@samantacicilia

82. Testes X Estágios:

83. Testes X Estágios:
● Estágio de Commit:
● Testes Unitários
● Testes de Mutação

84. Testes X Estágios:
● Estágio de Commit:
● Testes Unitários
● Testes de Mutação
● Testes de Integração
● Estágio de Aceite (primeiro ambiente):
● Testes de API

85. Testes X Estágios:
● Estágio de Commit:
● Testes Unitários
● Testes de Mutação
● Testes de Integração
● Estágio de Aceite (primeiro ambiente):
● Testes de API
● Estágio de Aceite (pré-produção):
● Testes de UI
● Testes de Regressão Visual
● Testes de Performance

86. Ferramentas:

87. Link das Ferramentas:
● https://semaphoreci.com/
● https://travis-ci.org/
● http://circleci.com/
● https://jenkins.io
● https://www.go.cd/
● https://snap-ci.com/

88. Demo
@samantacicilia

89. Ruby:
Unitário (Rspec)
Mutação (mutant-rspec)
https://github.com/samycici/mutation_example

90. Exemplo 1:

91. Exemplo 1:

92. Exemplo 1:

93. Exemplo 1:

94. Exemplo 2:

95. Exemplo 2:

96. Exemplo 2:

97. App em Python usando Flask:
Unitário (unittest + fixtures)
Integração (unittest + sqlite)
API (pyresttest)
Funcional (selenium)
Performance (locust.io)
https://github.com/samycici/todoapp-flask

98. Referências
@samantacicilia

100. ● http://www.guru99.com/mutation-testing.html
● http://blog.arkency.com/2015/05/mutation-testing-and-continuous-integration/
● http://blog.arkency.com/2015/06/how-good-are-your-ruby-tests-testing-your-tests-with-mutant/
● https://blog.blockscore.com/how-to-write-better-code-using-mutation-testing/
● http://www.slideshare.net/stefanteixeira/vr-dev-summit-2016-primeiros-passos-em-automao-de-testes
● http://pt.slideshare.net/fredoriginal/palestra-de-como-testar-sua-api-rest-no-grupo-de-teste-carioca
● https://css-tricks.com/visual-regression-testing-with-phantomcss/
● http://www.softwaretestinghelp.com/performance-testing-tools-load-testing-tools/
● https://talkingabouttesting.com/2015/08/19/mao-na-massa-com-visual-review-e-protractor/
● https://robots.thoughtbot.com/how-to-stub-external-services-in-tests
● http://www.devmedia.com.br/como-adotar-a-analise-estatica-de-codigo/32727

102. insideoutproject.com.br

105. insideoutproject.com.br/mulheres-palestrantes

107. Comunidades:
● meetup.com/pt-BR/DevOps-Carioca/
● meetup.com/pt-BR/Grupo-de-Testes-Carioca/
● meetup.com/pt-BR/Data-Science-Meetup-Rio-de-Janeiro/
● facebook.com/RioAgile/
● agiletesters.com.br
● insideoutproject.com.br

108. Contatos:
● testedesoftware.com
● rtstreinamentos.com.br
● medium.com/@samantacicilia
● Linkedin: Samanta Cicilia
● Twitter: @samantacicilia
● Slideshare: pt.slideshare.net/samantacicilia/
● Email: samycici@gmail.com

109. www.concretesolutions.com.br
blog.concretesolutions.com.br
Rio de Janeiro – Rua São José, 90 – cj. 2121
Centro – (21) 2240-2030
São Paulo - Rua Sansão Alves dos Santos, 433
4º andar - Brooklin - (11) 4119-0449