2. Tomada de Decisão Gerencial
• É a escolha racional, dentre alternativas disponíveis, de um
curso de ação, que se faz presente em todos os níveis da
organização (estratégico, gerencial e operacional).
• Identificar e selecionar um curso de ação para lidar com um
problema específico ou extrair vantagens em uma
oportunidade.
3. Sistemas de apoio à Decisão Gerencial
Transformar dados em informações de suporte à decisão;
Auxiliar na tomada de decisões estratégicas e táticas;
4. DATA WAREHOUSE – Armazém de Dados
Bill Inmon : “É um banco de dados,
orientado por assunto, integrado, não
volátil e histórico, criado para suportar o
processo de tomada de decisão.”
Ralph Kimball : “Um armazém é
uma cópia dos dados da
transação especificamente estruturado
para consulta e análise.”
5. DATA MART – Repositório de Dados
Bill Inmon : “Data Mart é cada uma das
partes físicas ou lógicas de um Data
Warehouse corporativo. Um Data Mart
corresponde às necessidades de
informação de uma determinada
comunidade de usuários.”
6. DATA MART – Repositório de Dados
Arquitetura Top-Down
Bill Inmon
Arquitetura Botton-Up
Ralph Kimball
9. ETL – Extract Transform Load
Extração Transformação e Limpeza
Transform
Staging Area
Load
Data Mart
Usuário Final
10. Extração
1. Fonte: Considerar dados oriundos dos sistemas
transacionais
2. Meio de acesso ao sistema fonte: através de views
3. Horário da extração: fora do horário comercial. Deve constar
no FLD – Formulário de Levantamento de Dados
4. Montar esquema de tabelas de staging
5. Periodicidade da extração: horária, diária, semanal, mensal.
Deve constar no documento de requisitos
11. Transformação
1. Conversões de formatos: EBCDIC, ASCII, códigos
geográficos (estados, países), conversões de medidas, caixa
alta, etc.
2. Criação de dados derivados (Ex.: UEN Prestadora: obtida
pelo tipo da unidade e a UF)
3. Separação e concatenação de dados, como quebra de
datas, endereços, etc.
4. Limpezas de erros de entrada de dados (typing),
inconsistência entre atributos com valores associados;
campos ausentes; duplicação de informações com
inconsistência entre fontes; aplicação de regras de negócio
12. Carga
1. Identificar os dados a serem carregados, mapeando o
esquema de staging com o esquema dos modelos
dimensionais
2. Tratar o mapeamento de chaves naturais para chaves
surrogates
3. Carregar as dimensões
4. Carregar tabelas fato
5. Considerar aspectos de performance, como uso de
paralelismo, presença ou ausência de índices e constraints
6. Considerar armazenar dados rejeitados, erros em tabelas de
violação
15. Questão de negócio:
• Qual a quantidade de objetos do serviço Remessa
Expressa extraviados/roubados e devolvidos ao
remente, por DR de destino, por período (data de
apuração), e por agrupamento de eventos
finalizadores?
Informações sobre a situação do negócio auxiliam gerentes na tomada de decisão.
Quanto mais rápido uma informação chega aos gestores, mais rápido uma decisão é tomada; e isto significa lucro, competitividade e uma série de vantagens que podem com certeza ajudar a decidir o futuro de uma empresa.
É através do conhecimento que o gerente toma suas decisões, e para isso ser mais eficaz possível foram criados sistemas de informação para apoiá-los.
PLANEJAMENTO ESTRATÉGICO:
O planejamento estratégico diz respeito à organização como um todo. Logo, ao elaborar um plano estratégico, aconselha-se levar em consideração os ambientes internos e externos como fatores econômico-financeiros globais, fatores políticos e até sociais. Faz-se também necessário ter uma visão integrada desenvolvida.
PLANEJAMENTO TÁTICO:
O planejamento tático, por sua vez, esta relacionado com as diferentes áreas da instituição. Portanto, uma empresa que possui uma área financeira e uma área comercial traça planos financeiros e planos comerciais. Esses são os planejamentos táticos.
no nível estratégico traçamos os objetivos, no tático as metas
Assim sendo, o planejamento estratégico (estende-se ao longo prazo) é desdobrado em vários planejamentos táticos (médio prazo).
Os data warehouse surgiram como conceito acadêmico na década de 80.
Com o amadurecimento dos sistemas de informação empresariais, as necessidades de análise dos dados cresceram paralelamente.
Os sistemas transacionais não conseguiam cumprir a tarefa de análise com a simples geração de relatórios. Nesse contexto, a implementação do data warehouse passou a se tornar realidade nas grandes corporações
Armazém de Dados, pode ser definido como um banco de dados especializado em unificar/integrar vários bancos de dados operacionais da empresa, que podem estar em diferentes linguagens e ambientes.
O data warehouse possibilita a análise de grandes volumes de dados, coletados dos sistemas transacionais.
São as chamadas séries históricas que possibilitam uma melhor análise de eventos passados, oferecendo suporte às tomadas de decisões presentes e a previsão de eventos futuros. Por definição, os dados em um data warehouse não são voláteis, ou seja, eles não mudam, salvo quando é necessário fazer correções de dados previamente carregados. Os dados estão disponíveis somente para leitura e não podem ser alterados.
Embora o data warehouse integrado e centralizado possa ser uma proposta muito atraente que resulte em vários benefícios, os gerentes podem relutar em adotar essa estratégia. A criação de um data warehouse exige tempo , dinheiro e considerável esforço gerencial. Portanto, não é surpreendente que muitas empresas iniciem sua incursão no data warehouse focando em conjuntos de dados mais gerenciáveis, orientados para atender às necessidades especiais de pequenos grupos no interior da organização.
Um data mart é um pequeno subconjunto de um data warehouse, sobre um único assunto, que fornece suporte às decisões de um pequeno grupo de pessoas. Além disso, o data mart também pode ser criado a partir de dados extraídos de um data warehouse maior, com a finalidade específica de dar suporte a um acesso mais rápido por determinado grupo ou função. Ou seja, data marts e data warehouses podem coexistir em um ambiente de business intelligence.
Data mart (repositório de dados) é sub-conjunto de dados de um Data Warehouse (armazém de dados).
Geralmente são dados referentes a um assunto em especial (ex: Vendas, Estoque, Controladoria) ou diferentes níveis de sumarização (ex: Vendas Anual, Vendas Mensal, Vendas 5 anos), que focalizam uma ou mais áreas específicas.
Seus dados são obtidos do DW, desnormalizados e indexados para suportar intensa pesquisa. Data marts extraem e ajustam porções de DWs aos requisitos específicos de grupos/departamentos.
O DW é feito para atender uma empresa como um todo, o data mart é criado para atender um sub-conjunto da empresa.
Os Data Marts são bancos de dados modelados multidimensionalmente, orientados aos departamentos de uma empresa, por exemplo, a área comercial, financeira, marketing e logística construíram vários Data Marts (DM´s) cada uma. Ao final de dois anos, eles passaram a alimentar um DW que, depois de implementado, passou a fazer o caminho inverso, que é de alimentar os DM´s. Então com essa fundamentação, podemos definir que os DM´s podem surgir de duas maneiras. A primeira é top-down e a segunda é a botton-up.
Top-down: é quando a empresa cria um DW e depois parte para a segmentação, ou seja, divide o DW em áreas menores gerando assim pequenos bancos orientados por assuntos aos departamentos.
Botton-up: é quando a situação é inversa. A empresa, por estratégia sua, prefere primeiro criar um banco de dados para somente uma área. Com isso os custos são bem inferiores de um projeto de DW completo. A partir da visualização dos primeiros resultados parte para outra área e assim sucessivamente até resultar em um Data Warehouse.
Os dados de suporte a decisão devem ser apresentados em diferentes níveis de agregação, altamente resumidos a quase indivisíveis.
Por exemplo, se os gerentes tiverem de analisar as vendas de SEDEX por região, devem acessar dados que mostrem as vendas por região, cidade da região, por agências dos Correios da cidades da região e assim por diante.
Nesse caso , são necessários dados resumidos para comparar as regiões, mas também dados em uma estrutura que permita ao gerente decompô-los (drill down) em componentes menos divisíveis (ou seja, dados mais refinados em menores níveis de agregação).
Por outro lado, ao agrupá-los (roll up), agregam-se os dados em um nível mais alto.
- Nível de detalhe dos dados;- De extrema importância no projeto de Data Warehouse
ETL, do inglês Extract Transform Load (Extração Transformação Carga), são ferramentas de software cuja função é a extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e por fim a carga dos dados em um data mart ou um data warehouse. É considerada uma das fases mais críticas do Data Warehouse e/ou Data Mart.
Extração
Ler e entender o dado fonte e copiar partes que são necessárias para a área de data staging no futuro
Transformação
Limpar os dados através de:
Correção de erros de digitação
Resolução de conflitos
Tratamento de dados perdidos
Conversão para formatos padrão
Carregamento e Indexação
Envolve a replicação das tabelas de dimensões e fatos e a apresentação dessas tabelas para as facilidades de ingestão de cada data mart
Normalmente efetuado em um único passo de carga
O data mart alvo tem que indexar os novos dados para garantir performance
Checagem de Qualidade
Efetuada rodando ferramentas de relatório de exceções sobre o conjunto de dados carregados
Checar por inconsistências em contagens, somas, séries de tempos
Ferramentas de relatório de exceções vêm normalmente com as facilidade de geração de relatórios do usuário final dos data marts
Publicação
Notificação de que os novos dados estão prontos
Comunicação de quaisquer mudancas que tenham ocorrido nas dimensões e novas “assumptions” que tenham sido incluídas nos fatos medidos e calculados
Modelagem Multidimensional
Para a construção de um DW (Data Warehouse) umas das técnicas utilizadas e a modelagem dimensional, assim como os arquitetos desenham a planta de uma casa antes de levantar a primeira parede, e necessário desenhar o DW antes de construí-lo. Um modelo dimensional e formado basicamente por uma tabela fato central e tabelas dimensões ligadas diretamente a ela.
Os sistemas de base de dados tradicionais utilizam a normalização no formato de dados para garantir consistência dos dados, minimização do espaço de armazenamento necessário e diminuição (redução) de redundâncias, que devem ser verificadas antes da conclusão do modelo de dados.
Um Data Warehouse utiliza dados em formato desnormalizados. Isto aumenta o desempenho das consultas e como benefício adicional, o processo torna-se mais intuitivo para os usuários comuns.
Essa maneira de reordenar os dados chama-se Modelagem Multidimensional, e o resultado da modelagem é o Modelo Multidimensional.
Em um sistema de Data warehousing, deve-se ter sempre em mente o que se irá medir e analisar.
Qual parte do negócio é importante nas tomadas de decisões.
Perspectivas do FATO:
ONDE
O QUÊ
QUANDO
QUEM
Elementos participantes de um Fato:
Quem é ativo no Fato;
Onde acontece o Fato;
Quando acontece o Fato;
O Quê participa do Fato.
Na intersecção das dimensões TEMPO, FUNCIONÁRIO e GERÊNCIA está o FATO DE PRODUTIVIDADE : quantidade de modelos que foi homologado pela GMQS.
Fato: acontecimento merecedor de análise e controle na organização;
Dimensão: apresenta uma perspectiva dos dados. Ex.: por dia, por vendedor, por cliente, por produto;
Métrica: são os valores a serem analisados, medidos. Ex.: total, percentual.
Aditivas: faz sentido somar seus valores ao longo de qualquer dimensão. Aplica-se o SUM em qualquer dimensão utilizada na FATO.
Não-Aditivas: não faz sentido a soma de seus valores. Ex.: percentual: não faz sentido somar um percentual.
Semi-Aditivas: faz sentido a soma de seus valores em certas dimensões. Tem alguma restrição em alguma dimensão, como a dimensão TEMPO.
No modelo estrela todas as dimensões relacionam-se diretamente com a fato;
as dimensões não são normalizadas no modelo estrela;
este modelo é chamado de ESTRELA porque a tabela fato fica ao centro cercada das tabelas dimensionais assemelhando-se a uma estrela
Existem duas possibilidades de modelagem para um DW a Star Schema (modelo estrela) e a Snow Flake (floco de neve), vejamos algumas características de cada um:
O Snow Flake, e composto por uma tabela fato, dimensões e sub-dimensões, as sub-dimensões são normalizações das tabelas dimensões, o que reduz o número de registros e por consequência necessita de menos espaço em disco, porem, por ser normalizado para exibir uma consulta serão necessários vários joins o que resulta em baixa velocidade das consultas, também torna complexa a manutenção do DW, normalmente utilizado por aplicações BI otimizadas para usar esse modelo.
O Star Schema, tem como característica ser desnormalizado, repetindo muitas informações em cada linha das tabelas, oque torna necessário muito espaço em disco, o esquema estrela por ser desnormalizado reduz a quantidade de joins o que resulta em consultas velozes, por ter poucas tabelas se comparado ao snow flake podemos afirmar que a manutenção e mais simples.
Uma consideração e necessária hoje em dia está cada vez mais barata, a aquisição de espaço de armazenamento, então, não devemos levar muito em conta o espaço em disco na hora da escolha de um dos modelos dimensionais.
Um iniciante que esta ingressando no mundo DW/BI, pode se pergunta, “qual e o melhor para usar?”. Com certeza o Star Schema! Com uma granularidade baixa, por outro lado, dependendo do cliente e do assunto que será armazenado no DW, pode surgir a necessidade de usar alguma normalização. Devemos, acima de tudo, analisar a necessidade do cliente, se o esquema estrela usado em 99% dos casos é mais veloz, não proporcionar uma boa usabilidade para o gestor empresarial, podemos usar dos recursos do floco de neve, tomado cuidado para não degradar a performance das consultas do DW.
No modelo Floco de Neve as tabelas DIMENSÕES relacionam-se com a tabela FATO, mas algumas dimensões relacionam-se apenas entre elas;
Ocorre através da normalização das tabelas dimensões, visando diminuir o espaço ocupado por estas tabelas.
Roteiro para uma Modelagem Eficaz
Identifique o Processo a ser modelado;
Identifique os Fatos e Métricas;
Identifique as Dimensões;
Identifique a Granularidade.