O documento relata a experiência da aplicação de práticas ágeis como Scrum, XP e FDD em projetos de Business Intelligence. As principais lições aprendidas incluem a importância de entregas frequentes de funcionalidades de valor, validação contínua de dados e alinhamento com as necessidades do negócio. Os desafios encontrados foram a gestão de versões e refatorações no data warehouse. Automatização de processos e fluxo contínuo podem ajudar a superar essas limitações.
1. Gerenciamento Ágil de Projetos de Business
Intelligence: Um Relato de Experiência da
Aplicação de Práticas das Metodologias Scrum,
XP e FDD
Mauricio Cesar Santos da Purificação², Vaninha Vieira², André Luís M. P. dos Santos¹, Fernando Cezar Borges¹,
Mário Jorge Pereira¹, Hugo Alex Conceição Silva¹
¹Centro de Processamento de Dados – Universidade Federal da Bahia (UFBA)
40.170.110 – Salvador – BA – Brasil
²Departamento de Ciência da Computação – Universidade Federal da Bahia (UFBA)
40.170-110 – Salvador – BA – Brasil
{mauricioc,andremp,fercez,mariojp,hugo.silva}@ufba.br, vaninha@dcc.ufba.br
Curitiba, Junho/2011
2. Agenda
• Business Intelligence
• Motivação
• Objetivo
• Cenário de Aplicação
– Projetos
– Práticas Ágeis
• Discussão e Análise
– Lições Aprendidas
– Pontos Positivos
– Limitações e Pontos Negativos
• Conclusão
• Trabalhos Futuros
2
3. Business Intelligence
• BI pode ser visto como um processo sistemático de aquisição,
tratamento e análise de informações em que os dados
internos e externos da empresa são integrados para gerar
informação pertinente para o processo de tomada de decisão.
3
4. Gerenciamento Tradicional de
Projetos de Business Intelligence:
Problemas Gerais
• Pouco envolvimento com clientes, usuários e patrocinadores
do projeto;
• Mal dimensionamento do escopo dos projetos e ciclos de
desenvolvimento resultando em projetos caros, difíceis de
implementar e projetos encerrados sem que os gestores
tenham tido resultados satisfatórios;
• Planejamento do projeto em desacordo com as necessidades
emergentes do negócio;
4
5. Gerenciamento Tradicional de
Projetos de Business Intelligence:
Problemas Gerais
• Falta de tempo para experimentação e avaliação do conjunto
de ferramentas a ser utilizado que se adeque às necessidades
dos usuários;
• Ferramentas analíticas pouco flexíveis e que não atendem às
reais necessidades do negócio;
• Dificuldades em lidar com mudanças de requisitos,
incorporação de funcionalidades e integração de bases de
dados distintas.
5
6. Motivação
• Soluções de BI continuam no topo da lista de desejos dos
gestores de negócio/departamentos de TI;
• Porém conseguir empregar aplicativos novos e inovadores de
BI ainda é um desafio;
• Na rede das empresas existem grandes volumes de dados
inseridos em ambientes complexos de TI que não conversam
entre si;
6
7. Motivação
• Os utilizadores empresariais de aplicações de BI estão
largamente insatisfeitos com a falta de agilidade e
flexibilidade das soluções existentes;
• Uma das alternativas para melhorar esse cenário está na
adoção de práticas/metodologias ágeis em projetos de BI.
7
8. Objetivo
• Avaliar a aplicação do gerenciamento ágil de
projetos no desenvolvimento de soluções de
Business Intelligence a partir do uso de
práticas combinadas das metodologias
Scrum, XP e FDD.
8
9. Projetos
• Projeto Permanecer DW-UFBA
– Período: Março a Julho de 2010;
– Parceria entre o Departamento de Ciência da
Computação da UFBA (DCC-UFBA) e o Centro de
Processamento de Dados da UFBA (CPD-UFBA;
– Participantes: 3 desenvolvedores e 2 gestores
– Escopo: Data Mart de pessoal da UFBA.
9
10. Projetos
• Disciplina Tópicos em Banco de Dados - Semestre
2010-2
– Período: Agosto a Dezembro de 2010;
– Parceria entre o Departamento de Ciência da
Computação da UFBA (DCC-UFBA) com o Centro de
Processamento de Dados da UFBA (CPD-UFBA) e a
Santa Casa de Misericórdia da Bahia;
– Participantes: 12 desenvolvedores e 6 gestores;
– Escopo: Data Mart acadêmico da UFBA e a perfilização
de sensibilidade da Maternidade da SCMBA.
10
11. Projetos
• Projeto BI - CPD-UFBA
– Período: Janeiro de 2011 até hoje;
– Projeto institucional de BI da UFBA;
– Participantes: 4 desenvolvedores e 3 gestores;
– Escopo: Data Mart acadêmico da UFBA.
11
12. Práticas Ágeis
Práticas Origem Projeto 1 Projeto 2 Projeto 3 Descrição
Modelos contendo uma especificação alto
Modelagem dos nível das dimensões e fatos foram
Objetos do desenvolvidos para oferecerem uma visão
Domínio FDD X X X geral das consultas a serem disponibilizadas.
Desenvolvimento O desenvolvimento da solução de BI em
Através de cada projeto foi direcionado às consultas e
Funcionalidades FDD X X relatórios disponibilizados a cada iteração.
Equipes de Um grupo de funcionalidades foi alocado a
Funcionalidades FDD X equipes distintas dentro das iterações.
As inspeções foram realizadas
continuamente para assegurar a qualidade
do produto desenvolvido e a correção das
Inspeções FDD X X X falhas encontradas.
12
13. Práticas Ágeis
Práticas Origem Projeto 1 Projeto 2 Projeto 3 Descrição
Os projetos foram desenvolvidos em sprints
Sprints SCRUM X X X variando de 1 mês a 15 dias.
As reuniões diárias foram utilizadas para o
monitoramento das atividades realizadas e
dos impedimentos enfrentados pela equipe
Reuniões Diárias SCRUM X X de trabalho.
As revisões das sprints foram utilizadas para
Revisão da a demonstração das funcionalidades
Sprint SCRUM X X desenvolvidas para os clientes dos projetos.
As retrospectivas das sprints foram utilizadas
para que as equipes pudessem avaliar seu
Retrospectiva da trabalho e propor melhorias para o seu
Sprint SCRUM X X desempenho nas sprints.
Refere-se à lista de funcionalidades
(consultas e relatórios) determinada pelo
Product Backlog SCRUM X X cliente para as iterações do projeto.
Refere-se a uma parte do product backlog
Sprint Backlog SCRUM X X que será implementada durante a sprint.
13
14. Práticas Ágeis
Práticas Origem Projeto 1 Projeto 2 Projeto 3 Descrição
A cada iteração ou sprint são entregues
Pequenas pequenas versões da solução que está sendo
Versões XP X X desenvolvida para os clientes.
A solução desenvolvida prioriza ao máximo a
simplicidade. Devem ser implementadas as
funcionalidades necessárias no momento, sem
Projeto Simples XP X considerar as que possam ser úteis no futuro.
Refatorações de código foram aplicadas nas
rotinas de ETL de modo a otimizar as consultas
Refatoração XP X X desenvolvidas.
Esta prática foi bastante utilizada no
Programação em desenvolvimento das rotinas de ETL e nas
Pares XP X X seções de modelagem.
Propriedade Todos os códigos e artefatos gerados pertencem
Coletiva XP X X X à equipe como um todo.
A padronização de código ajuda na
compreensão e na comunicação dos
desenvolvedores de modo que todo artefato
Padronização do gerado seja de fácil compreensão por todos os
Código XP X membros da equipe de trabalho. 14
15. Lições Aprendidas
• O conceito do que é software com valor agregado em BI irá
determinar o escopo de cada iteração realizada e que
funcionalidades poderão ser entregues a cada ciclo de
desenvolvimento;
• As tarefas relacionadas ao processo de ETL e a análise da
qualidade de dados necessitam de métricas diferenciadas
para que seu custo seja estimado;
• Uma boa tática para o controle de escopo durante as
iterações é a redução da quantidade de dimensões
pertencentes a uma determinada métrica e a definição de um
conjunto mínimo de métricas na primeira construção de um
determinado cubo;
15
16. Lições Aprendidas
• O gerenciamento de metadados é de fundamental
importância para o suporte de um processo ágil de BI devido
às diversas versões de esquemas e instâncias criadas durante
o processo de construção da solução de BI;
• Tratando-se da modelagem incremental do DW, é interessante
que a cada etapa do processo as tabelas fato sejam definidas
com a menor granularidade possível para o conjunto de
dimensões utilizado;
• Projetos de BI caracterizados por um número elevado de
atividades de manutenção e suporte podem entregar mais
valor ao se adotar metodologias focadas em um fluxo
contínuo de desenvolvimento ao invés de ciclos iterativos.
16
17. Pontos Positivos
• Motivação dos clientes a partir de entregas frequentes de
funcionalidades, devido à redução do escopo nas iterações;
• Validação e testes contínuos dos dados;
• As ferramentas utilizadas podem ser melhor avaliadas e
experimentadas a cada ciclo de desenvolvimento e novas
funcionalidades podem ser definidas e desenvolvidas em um
curto intervalo de tempo;
• Alinhamento das funcionalidades desenvolvidas com as
necessidades emergenciais do negócio da organização;
• Maior proximidades com os clientes, feedback contínuo,
avaliação e inspeções contínuas;
17
18. Pontos Negativos/Limitações
• Quantidade/frequência de refatorações, transformações e
migrações no esquema físico do DW;
• Gerenciamento de versões do DW e metadados;
• Migração de dados de acordo com as versões dos esquemas;
18
19. Conclusão
• Através deste relato pode-se observar a potencialidade
existente no alinhamento do gerenciamento ágil de projetos
com os projetos de desenvolvimento de soluções de BI além
das limitações existentes com esta abordagem;
• As limitações observadas constituem-se como áreas de
estudo no gerenciamento ágil de projetos de BI, como por
exemplo, o gerenciamento de versões em DW, a gerência de
metadados e as refatorações do DW;
• O impacto de uso de outras práticas ágeis pode ser observado
no uso do gerenciamento ágil de projetos de BI, a partir de
outros projetos, com equipes de diferentes tamanhos e
tempos de projeto diversificados.
19
20. Trabalhos Futuros
• Automatização do processo de gerenciamento de versões
(esquemas e dados) do DW;
• Gerenciamento de metadados para dar suporte às
refatorações, transformações e migrações de esquemas;
• Avaliação de metodologias de fluxo contínuo (Ex: Kanban) no
gerenciamento de projetos de BI.
20
21. Gerenciamento Ágil de Projetos de Business
Intelligence: Um Relato de Experiência da
Aplicação de Práticas das Metodologias Scrum,
XP e FDD
PERGUNTAS ?
Curitiba, Junho/2011