O documento propõe a implantação de uma Fábrica de Testes em órgãos públicos para testar produtos de software desenvolvidos por terceiros. A solução traria maior qualidade e redução de custos, já que defeitos seriam identificados mais cedo no processo de desenvolvimento. O modelo foi testado com sucesso na Prodemge, onde quatro fornecedores foram reprovados nos testes realizados pela fábrica. A proposta é facilmente replicável e traria benefícios como software mais estável e menor retrabalho.

1. Implantação de Fábrica de Testes
em órgão público como modelo de
aceitação de produtos de software
desenvolvidos por terceiros
Autor: Welington Monteiro – AGO/12

2. Apresentação
 Gerente de Testes de Software da Prodemge
 Certificado em Qualidade de Software com certificações pela ALATS e ISQTB
 Consultor de aquisição habilitado pelo MPS.BR
 CPRE-FL – IREB (Engenharia de Requisitos) - Em processo de certificação
 TMAP Next (Engenheiro de Testes) - Em processo de certificação
 Membro e revisor técnico do TMMi
 15 anos de experiência na área de TI
(bancária, têxtil, comércio, TI, comunicação)
 Graduado em Ciência da Computação
 Pós-graduação em Gerência de Tecnologia da Informação

3. Apresentação
Proposta de livro
submetida ao MCTI/SEPIN
ficou entre os 3 primeiros
colocados no Programa
Brasileiro de Qualidade de
Software, mantido por
esse órgão.

4. Agenda
1. Contextualização
2. Situação-Problema
3. Solução: Fábrica de Testes
4. Inovação e Ineditismo
5. Público-alvo
6. Relevância para o interesse público
7. Efetividade
8. Caso de sucesso – Processo licitatório Prodemge
9. Facilidade de reprodução
10. Conclusão

5. Agenda
1. Contextualização
2. Situação-Problema
3. Solução: Fábrica de Testes
4. Inovação e Ineditismo
5. Público-alvo
6. Relevância para o interesse público
7. Efetividade
8. Caso de sucesso – Processo licitatório Prodemge
9. Facilidade de reprodução
10. Conclusão

6. Contextualização
Um cenário crescente nas organizações públicas é a
demanda de soluções de TI através da contratação de
serviços de desenvolvimento de software junto a
fornecedores, principalmente no modelo de fábrica
de software.

7. Contextualização
O desenvolvimento de software requer know-how
para avaliação apurada da qualidade do produto de
software adquirido.
Sem controle de qualidade:
• Riscos de produtos de software com defeitos.
• Riscos de insatisfação do cliente.
• Elevados custos com retrabalho e manutenção.
• Gastos para os cofres públicos.
Comprar software é diferente de comprar bem material.

8. Justificativa
Desenvolvimento de software:
• atividade de alta complexidade
• envolve fatores de risco.
 Testes são fundamentais na garantia da qualidade do software.
 Quanto mais tarde os defeitos são encontrados em um
software, maiores serão os custos de sua remoção.
“A grande maioria das empresas de software no Brasil gasta 70%
do tempo de desenvolvimento corrigindo erros, ao invés de inovar
e desenvolver novas soluções.” Fonte: DevMedia

9. Agenda
1. Contextualização
2. Situação-Problema
3. Solução: Fábrica de Testes
4. Inovação e Ineditismo
5. Público-alvo
6. Relevância para o interesse público
7. Efetividade
8. Caso de sucesso – Processo licitatório Prodemge
9. Facilidade de reprodução
10. Conclusão

10. Situação-problema
Sistemas desenvolvidos com percentual significativo
de atrasos relacionados à baixa qualidade:
 Retrabalho.
 Impactos nos custos.
 Impactos nos prazos.

11. Justificativa
Modelo Conceitual – contexto comum
Principais problemas:
Má Qualidade Externa do Software
Resultado: defeitos encontrados pelo cliente
+ CUSTOS
Má Qualidade Interna do Software
Resultado: complexidade de manutenção
Atraso de cronograma
Resultado: estouro de prazo

12. Justificativa
Modelo Conceitual – contexto comum
Aquisição de desenvolvimento de software na maior parte das empresas públicas
Processo Entrega
Demanda Contrato
Licitatório
Detalhamento dos
requerimentos

13. Agenda
1. Contextualização
2. Situação-Problema
3. Solução: Fábrica de Testes
4. Inovação e Ineditismo
5. Público-alvo
6. Relevância para o interesse público
7. Efetividade
8. Caso de sucesso – Processo licitatório Prodemge
9. Facilidade de reprodução
10. Conclusão

14. Solução: Fábrica de Testes
Impactos positivos:
 Índices de produtividade.
 Prazos.
 Custos dos projetos de testes e homologação.
Reduz os riscos de soluções não padronizadas e
manutenção de sistemas legados, tornando os
investimentos em testes mais voltados a serviços que
propriamente à aquisição de ferramentas.

15. Justificativa
Modelo Conceitual – contexto proposto
Fábrica de Testes atuando como ponto de controle de qualidade
Processo Processo de Fábrica de
Demanda
Licitatório Qualidade Testes
Detalhamento dos
Contrato Entrega
requerimentos

16. Resultados Esperados
Modelo Conceitual – contexto proposto
Redução significativa de custos aos cofres públicos
Demais benefícios diretos:
• Maior qualidade do software;
• Redução de retrabalho;
• Maior padronização dos softwares desenvolvidos;
• Redução de problemas de segurança;
• Pagamento condicional a fornecedores mediante critérios
preestabelecidos de padrões de qualidade aceitáveis;
• Documentação atualizada do software desenvolvido.

17. Justificativa
Regra 10 de Myers
Fonte: Livro Base de Conhecimento em Teste de Software, São Paulo, 2007
O custo da correção de um defeito de software pode ser 1000 vezes
maior caso este seja identificado em produção (cliente) do que se
identificado nas fases iniciais (definição).

18. Justificativa
ROI dos Testes
Com a automação de
testes pode-se atingir
retorno de
investimento de até
445%, comparando-se a
uma organização sem
testes formais.
Fonte: Investing in Software Testing: The Cost of
Software Quality - Rex Black

19. Agenda
1. Contextualização
2. Situação-Problema
3. Solução: Fábrica de Testes
4. Inovação e Ineditismo
5. Público-alvo
6. Relevância para o interesse público
7. Efetividade
8. Caso de sucesso – Processo licitatório Prodemge
9. Facilidade de reprodução
10. Conclusão

20. Inovação e Ineditismo
Não foram encontradas referências desse tipo de
iniciativa atuando como ponto de controle de
qualidade em contratos de desenvolvimento de
software:
- em contato direto com outras organizações públicas
(muitas nem possuem uma ‘célula’ específica para
testes ou qualidade); ou
- através de pesquisa na internet.

21. Agenda
1. Contextualização
2. Situação-Problema
3. Solução: Fábrica de Testes
4. Inovação e Ineditismo
5. Público-alvo
6. Relevância para o interesse público
7. Efetividade
8. Caso de sucesso – Processo licitatório Prodemge
9. Facilidade de reprodução
10. Conclusão

22. Público-Alvo
Todas as organizações públicas que:
• Contratam serviços de desenvolvimento de
software de terceiros;
• e/ou que buscam melhoria da qualidade do
produto de software desenvolvido.

23. Agenda
1. Contextualização
2. Situação-Problema
3. Solução: Fábrica de Testes
4. Inovação e Ineditismo
5. Público-alvo
6. Relevância para o interesse público
7. Efetividade
8. Caso de sucesso – Processo licitatório Prodemge
9. Facilidade de reprodução
10. Conclusão

24. Relevância para o interesse público
• Garantir que o sistema entregue esteja de acordo
com os padrões de qualidade estabelecidos;
• Muitos órgãos públicos não têm a know-how
necessário para realizar uma aferição de projetos
relacionados a software;
• Redução significativa de custos.

25. Agenda
1. Contextualização
2. Situação-Problema
3. Solução: Fábrica de Testes
4. Inovação e Ineditismo
5. Público-alvo
6. Relevância para o interesse público
7. Efetividade
8. Caso de sucesso – Processo licitatório Prodemge
9. Facilidade de reprodução
10. Conclusão

26. Efetividade
• Aplicações mais estáveis;
• Redução de custos;
• Ponto de controle de qualidade;
• Otimização de tempo de correção dos defeitos;
• Integração e otimização do processo;
• Redução drástica de retrabalho.

27. Agenda
1. Contextualização
2. Situação-Problema
3. Solução: Fábrica de Testes
4. Inovação e Ineditismo
5. Público-alvo
6. Relevância para o interesse público
7. Efetividade
8. Caso de sucesso – Processo licitatório Prodemge
9. Facilidade de reprodução
10. Conclusão

28. Case: Licitação Prodemge
Pregão eletrônico nº 015/2011
Contratação de construção de software em tecnologia Java - 12.000 Pontos de Função
O Edital, em relação à prova de conceito:
10.1 – A Proponente vencedora submeter-se-á, antes da
homologação do processo, a prova prática de conceito para
validação de proficiência no ambiente tecnológico da Prodemge, em
conformidade com o descrito no Anexo II-A.
As 4 (quatro) primeiras empresas classificadas pelo menor preço
foram reprovadas nos testes realizados pela fábrica de testes. Os
softwares desenvolvidos na prova de conceito apresentaram
problemas de qualidade (defeitos), alguns de alta gravidade.

29. Agenda
1. Contextualização
2. Situação-Problema
3. Solução: Fábrica de Testes
4. Inovação e Ineditismo
5. Público-alvo
6. Relevância para o interesse público
7. Efetividade
8. Caso de sucesso – Processo licitatório Prodemge
9. Facilidade de reprodução
10. Conclusão

30. Facilidade de Reprodução
• O modelo é adaptável à realidade da empresa ou
órgão, visando o cumprimento de seu papel, sem gerar
entraves no processo;
• Pode ser implantado por ciclos, levando em
consideração a abrangência dos testes;
• Retorno pode ser obtido a curto prazo.

31. Agenda
1. Contextualização
2. Situação-Problema
3. Solução: Fábrica de Testes
4. Inovação e Ineditismo
5. Público-alvo
6. Relevância para o interesse público
7. Efetividade
8. Caso de sucesso – Processo licitatório Prodemge
9. Facilidade de reprodução
10. Conclusão

32. Conclusão
 Evolução contínua dos processos existentes
Maior eficiência na gestão e desenvolvimento de
software pelas organizações públicas.
Além dos benefícios diretos relacionados à:
 Qualidade de software.
 Redução de riscos.
 Redução de custos dos projetos desta natureza.

33. Muito obrigado!
Welington Costa Monteiro
Gerente de Testes
wmonteiro@prodemge.gov.br
welingtonmonteiro