Presentación de la plataforma Microsoft Business Intelligence, técnicas de construcción de un Data Warehouse. Charlas impartidas en diferentes grupos de usuarios .Net
2. Salvador Ramos
MVP SQL Server
MCP / MCTS SQL Server
Columnista de dotNetManía
Co-autor de varios libros
Mi web: www.helpdna.net
webmaster@helpdna.net
www.sqlserversi.com
3. Agenda
• Business Intelligence (BI)
• OLTP vs OLAP
• Datawarehouse, OLAP
• Proyectos de Inteligencia de Negocio (BI) con
herramientas de Microsoft
• Conocimientos necesarios para abordar proyectos de
BI
7. Business Intelligence
• Procesos, herramientas, y tecnologías para convertir
datos en información, e información en
conocimiento, de forma que nos ayude en la toma de
decisiones.
• Nos permite:
• Convertir los datos en información
• Tomar mejores decisiones rápidamente
• Utilizar un método razonable para la gestión empresarial
8. BI: Herramientas y Componentes
Otros
CRM
ERP
Informes de usuario
Informes analíticos
data (SSRS)
E.T.L. Warehouse Excel
(SSIS) *relacional* Sharepoint
BI Portal,
Performance Point 2007
Proclarity
Otros…
cubos
(SSAS)
OLAP
9. Tecnologías OLTP vs OLAP
• OnLine Transaction Processing
• Sistemas transaccionales, enfocados a gestionar un gran
número de transacciones concurrentes
• Permiten insertar, actualizar, borrar y consultar una
pequeña cantidad de registros
• OnLine Analytical Processing
• Enfocados al análisis de grandes cantidades de datos
• Proporcionan respuestas rápidas y complejas
10. Tecnologías OLTP vs OLAP (II)
OLTP OLAP
• Orientado a lo operativo • Orientado a temas
(procesos)
• Predomina la actualización • Predomina la consulta.
Datos históricos
• Se accede a pocos registros • Procesos masivos, se accede
• Datos altamente a muchos registros
normalizados • Datos Denormalizados
• Estructura relacional
• Estructura multidimensional
• Rápidos tiempos de • Respuesta masiva, no
inmediata
respuesta.
• Estructura dinámica,
• Estructura estática abundantes cambios
11. Sistemas relacionales vs Sistemas OLAP
• Sistemas Relacionales
• Tablas: Información en 2 dimensiones
– Consultas estáticas
– Lentas si leen muchos datos
– Nuevos informes necesitan desarrollo
• Sistemas OLAP (multidimensionales)
• Cubos: Información en N dimensiones cubos
– Consultas dinámicas SSAS
cubos
SSAS
cubos
– Información al instante SSAS
CUBOS
– El usuario diseña con facilidad
y flexibilidad sus informes
12. Dimensiones
• Jerarquías y niveles
o Tiempo (año, trim, mes, dia)
o Geografía (país, prov, poblac)
o Artículo (fam, grupo, art)
• Agregaciones
• Son sumas precalculadas de los
datos para acelerar el tiempo de
respuesta
• Miembros Producto1
Producto2
Producto 3
13. Cubos, dimensiones y medidas
Mostrar las ventas de Articulos
PC’s
Portátiles
Durante el año 2006 Portátiles
En Murcia 27 Unidades Periféricos
28.300€ Importe
Geografía 26.300€ Costo Monitores
Madrid 2.000€ Benef.
Cableado
Barcelona
Murcia
Murcia
03 04 05 06
06
Tiempo
14. Sistemas OLAP con Datawarehouse
Otros
CRM
ERP
Informes de usuario
Informes analíticos
data (SSRS)
E.T.L. Warehouse Excel
(SSIS) *relacional* Sharepoint
BI Portal,
Performance Point 2007
Proclarity
Otros…
cubos
(SSAS)
OLAP
15. Plataforma Microsoft Business Intelligence
DELIVERY
SharePoint Server
Excel
Reports Dashboards Workbooks Analytic Scorecards Plans
Views
END USER TOOLS & PERFORMANCE MANAGEMENT APPS
Excel PerformancePoint Server
BI PLATFORM
SQL Server SQL Server
Reporting Services Analysis Services
SQL Server DBMS
SQL Server Integration Services
17. Datawarehouse
• Almacén de datos procedentes de los sistemas OLTP. Repositorio
colectivo.
• Almacén “relacional” de datos centralizado
• Datos organizados en grupos temáticos
• Los datos son: data
Warehouse
• Consistentes *relacional*
• Depurados
• Históricos (no volátiles)
• Suministra datos rápida y eficientemente cubos
(SSAS)
• Datamarts OLAP
• Ralph Kimball (www.kimballgroup.com)
• Bill Inmon (http://www.inmoncif.com)
18. Datawarehouse (II)
• Almacén de datos procedentes de los sistemas OLTP.
Repositorio colectivo
• Almacén de datos centralizado
• Datos organizados en grupos temáticos
• Los datos son:
• Consistentes (ej: qué entendemos por “margen”)
• Depurados (ej: “taller m. garcia”, “taller mec. Garcia)
• Históricos (no volátiles)
• Suministra datos rápida y eficientemente
• Datamarts
19. Construyendo un DW
• Definir objetivos y requerimientos
• Revisar los informes actuales
• Investigar todas las posibles fuentes de información que
alimentarán el DW
• Diseño y modelado
• Definir las tablas del área intermedia, que alimentarán
dimensiones y tablas de hechos
• Realizar los precálculos necesarios
• Crear índices y vistas
• Elegir el esquema más adecuado:
o Estrella (star)
o Copo de nieve (snowflacke)
20. Construyendo un DW (II)
• Estrategia de extracción y transformación
• Decidir en cada caso si se realizará una extracción
completa o incremental
• Diseño del sistema de extracción incremental
• Utilizar triggers, replicación u otras técnicas
• Transformación de los datos
• Asegurar la validez, integridad y utilidad de los datos
• Comprobar que todas las claves externas encuentren
valores, y evitar claves nulas
o (ej: sustituirlas por 0 -> „Sin familia‟)
21. Diseño de DW
• Ralph Kimball vs Bill Inmon
• http://sistemasdecisionales.blogspot.com/2006/09/inmon-o-kimball-o-
cuanto-apreciamos-la.html
• Slowly Changing Dimensions
• Type 0: no changes
• Type 1: overwrite
• Type 2: partitioning history
• (Type 3: alternate realities)
• (Hybrid)
• Inferred members (miembros inferidos)
22. Construyendo un DW
ERP
Area Intermedia 1
E.T.L.
(SSIS)
data
E.T.L. Warehouse
CRM Area Intermedia 2
(SSIS) (relacional)
E.T.L.
(SSIS)
Otros
23. Y si no puedo construir un DW …
• No puedo utilizar OLAP ?
• SI QUE PUEDO !!! Y debo hacerlo
Otros
CRM
ERP
Informes de usuario
Informes analíticos
SSRS
PROCESAR Excel
Sharepoint
BI Portal,
Performance Point 2007
Proclarity
cubos
Otros…
(SSAS)
32. Data Mining
• Exploración y análisis de grandes cantidades de datos
con el fin de obtener o descubrir patrones, reglas y
tendencias de utilidad.
• En vez de buscar información concreta que tenemos en
mente (como hacemos en los cubos), son los algoritmos de
minería los que nos devuelven asociaciones , predicciones,
etc para que nosotros las analicemos.
33. Acceso a datos Reporting Services
• DEMO
• Report Manager (http://localhost/reports)
• Mostrar proyecto desde BIDS
• Report Builder
34. Lenguaje MDX
• MultiDimensional eXpressions
(Lenguaje de expresiones multidimensionales)
• Es el equivalente a SQL para bases de datos
multidimensionales
• También tiene una instrucción SELECT
SELECT <espec-eje>, <espec-eje> …
FROM <espec-cubo>
WHERE <espec-rebanador>
Muy diferente al SELECT de SQL
• Dispone de múltiples funciones avanzadas
35. Necesitamos conocimientos de …
• Para construcción de un Datawarehouse (Relacional)
• SQL Server y Transact SQL
• Teoría de construcción de DW, modelado dimensional
• SQL Server Integration Services
• Para Base de datos multidimensional (“cubos OLAP”)
• Modelado dimensional
• SQL Server Analysis Services
• Lenguaje MDX (?)
36. Necesitamos conocimientos de …
• Reporting Empresarial
• Reporting Services – Admistración
• Reporting Services – Desarrollo de informes
• Monitorización y Analysis
• Sharepoint
• Base teórica sobre KPIs y Performance Management
• Performance Point Server – Monitoring and Analysis
• (Recomendable conocer metodologías como BSC,…)
37. Preguntas ?
Salvador Ramos
webmaster@helpdna.net