SlideShare ist ein Scribd-Unternehmen logo
1 von 25
Downloaden Sie, um offline zu lesen
#SQSummit13

Diagnosticar y curar,
todo es empezar
@salvador_ramos

Salvador Ramos
sramos@solidq.com
MVP SQL Server, MCSE BI 2012

@ildeMas

Ildefonso Mas
imasfernandez@solidq.com

MCTP de SQL Server 2008 BI
Agenda
1. Desde los inicios … hasta hoy

2. Diagnosticar
3. Desglose de problemas encontrados
4. Soluciones a los problemas

3
Necesidades
Detectamos que SSIS puede ayudarnos
- Desarrollo rápido
- Aplicamos lo que
ya conocemos
- No tenemos tiempo
de formarnos
- Hacemos paquetes para ayer
4
Manos a la obra
Los primeros paquetes
- Foco en cada paquete
- Conectamos a los orígenes
- Uso intenso de T-SQL
- Mejoras progresivas

5
Conexiones
¿Creamos sólo las necesarias?
¿Usamos configuraciones?
¿Reutilizamos?
¿Consensuamos?

6
Diseño del paquete

7
Logging

8
Dependencias entre paquetes

9
¿Y ahora qué?
N Paquetes (¿Cientos?)
M Conexiones
X Dependencias
N * M * X = ¡Miles!

10
¿Y ahora qué?

11
Caso Real
¿Qué nos encontramos?

5 años de desarrollo con SSIS
4 personas han pasado por el equipo
Quedan 2
Procesos ETL creados bajo presión (para ayer)
300 paquetes en carpetas y 75 en MSDB
Decenas/Centenas de ellos no se utilizan

12
Caso Real
¿Quién se atreve a …
- Tocar algún paquete?
- Restaurar todo o parte?
- Mover a otro servidor?
- Migrar?
- A documentar lo que hay?

13
Proceso seguido
Inventariar

Curar

Automatizar

Diagnosticar

Buscar
solución

14
Caso práctico
Conjunto de 5 paquetes a diagnosticar y
curar:

16
DEMO

Presentación de la aplicación
BackupRestore
Extrayendo información de los
paquetes. Diagnóstico
17
DEMO

Unificar Sistema de logging

18
Standard de logging definido
Se utilizaran 2 logProviders
1. Windows EventLog
2. SQL Server
• Almacena el logging en una base de
datos de Operaciones
• La base de datos de operaciones se
configura desde el fichero:
"C:SSIS Config FilesDemoSummit_ConfiguracionDB.dtsConfig"
19
DEMO

Consolidar orígenes de datos

20
Standard de configuraciones
Se guardaran las configuraciones de SSIS
en la tabla “[dbo].[SSIS_Configuracion]” de la
base de datos de Operaciones.

21
DEMO

Modo script

22
Otros aspectos a revisar
1.
2.
3.
4.
5.
6.
7.

GUID de paquetes
Nombre interno y nombre externo del paquete
Unificar las configuraciones de SSIS
Revisión de variables no utilizadas
Detección de data flows sin componentes de destino
Revisión de otros tipos de orígenes de datos
Análisis procedimientos almacenados

23
¿Cómo esta construida la aplicación?
Aplicación en Vb.NET utilizando la API de SSIS

Dispone de un lenguaje propio que es traducido a llamadas
de esta API
Pensado para reutilizar todo lo que se desarrolle sobre la API.
Extender el lenguaje mencionado

24
Ten en cuenta que…
No es una ciencia exacta. Cada caso que encontremos es
diferente al anterior
Estas herramientas y metodologías tratan de acelerar el
trabajo que tengamos que hacer en cada caso

25
Conclusiones
Utiliza siempre Buenas Prácticas

Si ya estás en esa situación:
- Hay solución
- Se puede automatizar

26
Si quieres disfrutar de las mejores sesiones de
nuestros mentores de España y Latino América,
ésta es tu oportunidad.
http://summit.solidq.com/madrid/
Síguenos:

29

Weitere ähnliche Inhalte

Ähnlich wie Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

Introducción a SSIS con Biml
Introducción a SSIS con BimlIntroducción a SSIS con Biml
Introducción a SSIS con BimlSpanishPASSVC
 
Introducción a SSIS
Introducción a SSISIntroducción a SSIS
Introducción a SSISSpanishPASSVC
 
Diseño físico de base de datos - Part I
Diseño físico de base de datos - Part IDiseño físico de base de datos - Part I
Diseño físico de base de datos - Part IJesús Canales Guando
 
Introduccion a SSIS con BIML
Introduccion a SSIS con BIMLIntroduccion a SSIS con BIML
Introduccion a SSIS con BIMLGuillermo Caicedo
 
10 Tips ‘n’ Tricks for DBAs
10 Tips ‘n’ Tricks for DBAs10 Tips ‘n’ Tricks for DBAs
10 Tips ‘n’ Tricks for DBAsdbLearner
 
Componentes de sql server 2008
Componentes de sql server 2008Componentes de sql server 2008
Componentes de sql server 2008Jillian Motoharu
 
Taller de base de datos ags dic_2014 control escolar
Taller de base de datos ags dic_2014 control escolarTaller de base de datos ags dic_2014 control escolar
Taller de base de datos ags dic_2014 control escolarLuiz Castro
 
Android con conexión a base de datos sq lite
Android con conexión a base de datos sq liteAndroid con conexión a base de datos sq lite
Android con conexión a base de datos sq liteCristhian Deza Castillo
 
Adaptive BI Framework
Adaptive BI Framework Adaptive BI Framework
Adaptive BI Framework SolidQ
 
Tips en la instalación de Dynamics 365 FO - LBD, 365 Saturday
Tips en la instalación de Dynamics 365 FO - LBD, 365 SaturdayTips en la instalación de Dynamics 365 FO - LBD, 365 Saturday
Tips en la instalación de Dynamics 365 FO - LBD, 365 SaturdayJuan Fabian
 
Sql server 2012 denali - novedades en ssis integration services - 24 h pass-l...
Sql server 2012 denali - novedades en ssis integration services - 24 h pass-l...Sql server 2012 denali - novedades en ssis integration services - 24 h pass-l...
Sql server 2012 denali - novedades en ssis integration services - 24 h pass-l...Salvador Ramos
 

Ähnlich wie Diagnosticar y curar, todo es empezar | SolidQ Summit 2013 (20)

Base de Datos (Grupo3).pptx
Base de Datos (Grupo3).pptxBase de Datos (Grupo3).pptx
Base de Datos (Grupo3).pptx
 
Semana 01.pdf
Semana 01.pdfSemana 01.pdf
Semana 01.pdf
 
Introducción a SSIS con Biml
Introducción a SSIS con BimlIntroducción a SSIS con Biml
Introducción a SSIS con Biml
 
Introducción a SSIS
Introducción a SSISIntroducción a SSIS
Introducción a SSIS
 
Diseño físico de base de datos - Part I
Diseño físico de base de datos - Part IDiseño físico de base de datos - Part I
Diseño físico de base de datos - Part I
 
Tema LOS SGBD O DBMS.pptx
Tema LOS SGBD O DBMS.pptxTema LOS SGBD O DBMS.pptx
Tema LOS SGBD O DBMS.pptx
 
Introduccion a SSIS con BIML
Introduccion a SSIS con BIMLIntroduccion a SSIS con BIML
Introduccion a SSIS con BIML
 
10 Tips ‘n’ Tricks for DBAs
10 Tips ‘n’ Tricks for DBAs10 Tips ‘n’ Tricks for DBAs
10 Tips ‘n’ Tricks for DBAs
 
Componentes de sql server 2008
Componentes de sql server 2008Componentes de sql server 2008
Componentes de sql server 2008
 
Taller de base de datos ags dic_2014 control escolar
Taller de base de datos ags dic_2014 control escolarTaller de base de datos ags dic_2014 control escolar
Taller de base de datos ags dic_2014 control escolar
 
Antologia de taller de base de datos 1 26
Antologia de taller de base de datos 1 26Antologia de taller de base de datos 1 26
Antologia de taller de base de datos 1 26
 
Android con conexión a base de datos sq lite
Android con conexión a base de datos sq liteAndroid con conexión a base de datos sq lite
Android con conexión a base de datos sq lite
 
Monitoreo sql server
Monitoreo sql serverMonitoreo sql server
Monitoreo sql server
 
DAM-S5.pptx
DAM-S5.pptxDAM-S5.pptx
DAM-S5.pptx
 
Actividad4cosdac
Actividad4cosdacActividad4cosdac
Actividad4cosdac
 
Adaptive BI Framework
Adaptive BI Framework Adaptive BI Framework
Adaptive BI Framework
 
Exposicion_Terabyte.pptx
Exposicion_Terabyte.pptxExposicion_Terabyte.pptx
Exposicion_Terabyte.pptx
 
Tips en la instalación de Dynamics 365 FO - LBD, 365 Saturday
Tips en la instalación de Dynamics 365 FO - LBD, 365 SaturdayTips en la instalación de Dynamics 365 FO - LBD, 365 Saturday
Tips en la instalación de Dynamics 365 FO - LBD, 365 Saturday
 
Base datos t1 u3
Base datos t1 u3Base datos t1 u3
Base datos t1 u3
 
Sql server 2012 denali - novedades en ssis integration services - 24 h pass-l...
Sql server 2012 denali - novedades en ssis integration services - 24 h pass-l...Sql server 2012 denali - novedades en ssis integration services - 24 h pass-l...
Sql server 2012 denali - novedades en ssis integration services - 24 h pass-l...
 

Mehr von SolidQ

SolidQ Summit 2018 - Seguridad a nivel datos. RLS
SolidQ Summit 2018 - Seguridad a nivel datos. RLSSolidQ Summit 2018 - Seguridad a nivel datos. RLS
SolidQ Summit 2018 - Seguridad a nivel datos. RLSSolidQ
 
SolidQ Summit 2018 - Todo lo que un integrador de datos debería tener... y pa...
SolidQ Summit 2018 - Todo lo que un integrador de datos debería tener... y pa...SolidQ Summit 2018 - Todo lo que un integrador de datos debería tener... y pa...
SolidQ Summit 2018 - Todo lo que un integrador de datos debería tener... y pa...SolidQ
 
SolidQ Summit 2018 - ¿Dificultades gestionando relaciones muchos a muchos? De...
SolidQ Summit 2018 - ¿Dificultades gestionando relaciones muchos a muchos? De...SolidQ Summit 2018 - ¿Dificultades gestionando relaciones muchos a muchos? De...
SolidQ Summit 2018 - ¿Dificultades gestionando relaciones muchos a muchos? De...SolidQ
 
SolidQ Summit 2018 - Report Server: Nuevos mutantes
SolidQ Summit 2018 - Report Server: Nuevos mutantesSolidQ Summit 2018 - Report Server: Nuevos mutantes
SolidQ Summit 2018 - Report Server: Nuevos mutantesSolidQ
 
Cuando QueryStore no sirve, ¿qué opciones tenemos?
Cuando QueryStore no sirve, ¿qué opciones tenemos?Cuando QueryStore no sirve, ¿qué opciones tenemos?
Cuando QueryStore no sirve, ¿qué opciones tenemos?SolidQ
 
SQL Server 2017 en Linux
SQL Server 2017 en LinuxSQL Server 2017 en Linux
SQL Server 2017 en LinuxSolidQ
 
Columnstore en la vida real
Columnstore en la vida realColumnstore en la vida real
Columnstore en la vida realSolidQ
 
PowerApprízate
PowerApprízatePowerApprízate
PowerApprízateSolidQ
 
Jugando a ser rico: Machine Learning para predicción de stocks
Jugando a ser rico: Machine Learning para predicción de stocksJugando a ser rico: Machine Learning para predicción de stocks
Jugando a ser rico: Machine Learning para predicción de stocksSolidQ
 
Analizando tus Redes Sociales con Power BI
Analizando tus Redes Sociales con Power BIAnalizando tus Redes Sociales con Power BI
Analizando tus Redes Sociales con Power BISolidQ
 
Mantenimiento de SQL Server para Dummies
Mantenimiento de SQL Server para DummiesMantenimiento de SQL Server para Dummies
Mantenimiento de SQL Server para DummiesSolidQ
 
R en relacional
R en relacionalR en relacional
R en relacionalSolidQ
 
Cuando haces bot ya no hay stop!!
Cuando haces bot ya no hay stop!!Cuando haces bot ya no hay stop!!
Cuando haces bot ya no hay stop!!SolidQ
 
Arquitecturas lambda en Azure
Arquitecturas lambda en AzureArquitecturas lambda en Azure
Arquitecturas lambda en AzureSolidQ
 
Bot Framework: otra manera de acceder a tus datos - SolidQ Summit 2018
Bot Framework: otra manera de acceder a tus datos - SolidQ Summit 2018Bot Framework: otra manera de acceder a tus datos - SolidQ Summit 2018
Bot Framework: otra manera de acceder a tus datos - SolidQ Summit 2018SolidQ
 
BIE2E en Azure - SolidQ Summit 2018
BIE2E en Azure - SolidQ Summit 2018BIE2E en Azure - SolidQ Summit 2018
BIE2E en Azure - SolidQ Summit 2018SolidQ
 
¿Qué viene GDPR? Mi SQL está preparado- SolidQ Summit 2018
¿Qué viene GDPR? Mi SQL está preparado- SolidQ Summit 2018¿Qué viene GDPR? Mi SQL está preparado- SolidQ Summit 2018
¿Qué viene GDPR? Mi SQL está preparado- SolidQ Summit 2018SolidQ
 
Hilando fino en SSAS multidimensional - SolidQ Summit 2018
Hilando fino en SSAS multidimensional - SolidQ Summit 2018Hilando fino en SSAS multidimensional - SolidQ Summit 2018
Hilando fino en SSAS multidimensional - SolidQ Summit 2018SolidQ
 
Adaptive Query Processing: Mejoras en el motor de consulta de SQL Server 2017...
Adaptive Query Processing: Mejoras en el motor de consulta de SQL Server 2017...Adaptive Query Processing: Mejoras en el motor de consulta de SQL Server 2017...
Adaptive Query Processing: Mejoras en el motor de consulta de SQL Server 2017...SolidQ
 
Novedades de SSAS 2017
Novedades de SSAS 2017Novedades de SSAS 2017
Novedades de SSAS 2017SolidQ
 

Mehr von SolidQ (20)

SolidQ Summit 2018 - Seguridad a nivel datos. RLS
SolidQ Summit 2018 - Seguridad a nivel datos. RLSSolidQ Summit 2018 - Seguridad a nivel datos. RLS
SolidQ Summit 2018 - Seguridad a nivel datos. RLS
 
SolidQ Summit 2018 - Todo lo que un integrador de datos debería tener... y pa...
SolidQ Summit 2018 - Todo lo que un integrador de datos debería tener... y pa...SolidQ Summit 2018 - Todo lo que un integrador de datos debería tener... y pa...
SolidQ Summit 2018 - Todo lo que un integrador de datos debería tener... y pa...
 
SolidQ Summit 2018 - ¿Dificultades gestionando relaciones muchos a muchos? De...
SolidQ Summit 2018 - ¿Dificultades gestionando relaciones muchos a muchos? De...SolidQ Summit 2018 - ¿Dificultades gestionando relaciones muchos a muchos? De...
SolidQ Summit 2018 - ¿Dificultades gestionando relaciones muchos a muchos? De...
 
SolidQ Summit 2018 - Report Server: Nuevos mutantes
SolidQ Summit 2018 - Report Server: Nuevos mutantesSolidQ Summit 2018 - Report Server: Nuevos mutantes
SolidQ Summit 2018 - Report Server: Nuevos mutantes
 
Cuando QueryStore no sirve, ¿qué opciones tenemos?
Cuando QueryStore no sirve, ¿qué opciones tenemos?Cuando QueryStore no sirve, ¿qué opciones tenemos?
Cuando QueryStore no sirve, ¿qué opciones tenemos?
 
SQL Server 2017 en Linux
SQL Server 2017 en LinuxSQL Server 2017 en Linux
SQL Server 2017 en Linux
 
Columnstore en la vida real
Columnstore en la vida realColumnstore en la vida real
Columnstore en la vida real
 
PowerApprízate
PowerApprízatePowerApprízate
PowerApprízate
 
Jugando a ser rico: Machine Learning para predicción de stocks
Jugando a ser rico: Machine Learning para predicción de stocksJugando a ser rico: Machine Learning para predicción de stocks
Jugando a ser rico: Machine Learning para predicción de stocks
 
Analizando tus Redes Sociales con Power BI
Analizando tus Redes Sociales con Power BIAnalizando tus Redes Sociales con Power BI
Analizando tus Redes Sociales con Power BI
 
Mantenimiento de SQL Server para Dummies
Mantenimiento de SQL Server para DummiesMantenimiento de SQL Server para Dummies
Mantenimiento de SQL Server para Dummies
 
R en relacional
R en relacionalR en relacional
R en relacional
 
Cuando haces bot ya no hay stop!!
Cuando haces bot ya no hay stop!!Cuando haces bot ya no hay stop!!
Cuando haces bot ya no hay stop!!
 
Arquitecturas lambda en Azure
Arquitecturas lambda en AzureArquitecturas lambda en Azure
Arquitecturas lambda en Azure
 
Bot Framework: otra manera de acceder a tus datos - SolidQ Summit 2018
Bot Framework: otra manera de acceder a tus datos - SolidQ Summit 2018Bot Framework: otra manera de acceder a tus datos - SolidQ Summit 2018
Bot Framework: otra manera de acceder a tus datos - SolidQ Summit 2018
 
BIE2E en Azure - SolidQ Summit 2018
BIE2E en Azure - SolidQ Summit 2018BIE2E en Azure - SolidQ Summit 2018
BIE2E en Azure - SolidQ Summit 2018
 
¿Qué viene GDPR? Mi SQL está preparado- SolidQ Summit 2018
¿Qué viene GDPR? Mi SQL está preparado- SolidQ Summit 2018¿Qué viene GDPR? Mi SQL está preparado- SolidQ Summit 2018
¿Qué viene GDPR? Mi SQL está preparado- SolidQ Summit 2018
 
Hilando fino en SSAS multidimensional - SolidQ Summit 2018
Hilando fino en SSAS multidimensional - SolidQ Summit 2018Hilando fino en SSAS multidimensional - SolidQ Summit 2018
Hilando fino en SSAS multidimensional - SolidQ Summit 2018
 
Adaptive Query Processing: Mejoras en el motor de consulta de SQL Server 2017...
Adaptive Query Processing: Mejoras en el motor de consulta de SQL Server 2017...Adaptive Query Processing: Mejoras en el motor de consulta de SQL Server 2017...
Adaptive Query Processing: Mejoras en el motor de consulta de SQL Server 2017...
 
Novedades de SSAS 2017
Novedades de SSAS 2017Novedades de SSAS 2017
Novedades de SSAS 2017
 

Diagnosticar y curar, todo es empezar | SolidQ Summit 2013

  • 1. #SQSummit13 Diagnosticar y curar, todo es empezar @salvador_ramos Salvador Ramos sramos@solidq.com MVP SQL Server, MCSE BI 2012 @ildeMas Ildefonso Mas imasfernandez@solidq.com MCTP de SQL Server 2008 BI
  • 2. Agenda 1. Desde los inicios … hasta hoy 2. Diagnosticar 3. Desglose de problemas encontrados 4. Soluciones a los problemas 3
  • 3. Necesidades Detectamos que SSIS puede ayudarnos - Desarrollo rápido - Aplicamos lo que ya conocemos - No tenemos tiempo de formarnos - Hacemos paquetes para ayer 4
  • 4. Manos a la obra Los primeros paquetes - Foco en cada paquete - Conectamos a los orígenes - Uso intenso de T-SQL - Mejoras progresivas 5
  • 5. Conexiones ¿Creamos sólo las necesarias? ¿Usamos configuraciones? ¿Reutilizamos? ¿Consensuamos? 6
  • 9. ¿Y ahora qué? N Paquetes (¿Cientos?) M Conexiones X Dependencias N * M * X = ¡Miles! 10
  • 11. Caso Real ¿Qué nos encontramos? 5 años de desarrollo con SSIS 4 personas han pasado por el equipo Quedan 2 Procesos ETL creados bajo presión (para ayer) 300 paquetes en carpetas y 75 en MSDB Decenas/Centenas de ellos no se utilizan 12
  • 12. Caso Real ¿Quién se atreve a … - Tocar algún paquete? - Restaurar todo o parte? - Mover a otro servidor? - Migrar? - A documentar lo que hay? 13
  • 14. Caso práctico Conjunto de 5 paquetes a diagnosticar y curar: 16
  • 15. DEMO Presentación de la aplicación BackupRestore Extrayendo información de los paquetes. Diagnóstico 17
  • 17. Standard de logging definido Se utilizaran 2 logProviders 1. Windows EventLog 2. SQL Server • Almacena el logging en una base de datos de Operaciones • La base de datos de operaciones se configura desde el fichero: "C:SSIS Config FilesDemoSummit_ConfiguracionDB.dtsConfig" 19
  • 19. Standard de configuraciones Se guardaran las configuraciones de SSIS en la tabla “[dbo].[SSIS_Configuracion]” de la base de datos de Operaciones. 21
  • 21. Otros aspectos a revisar 1. 2. 3. 4. 5. 6. 7. GUID de paquetes Nombre interno y nombre externo del paquete Unificar las configuraciones de SSIS Revisión de variables no utilizadas Detección de data flows sin componentes de destino Revisión de otros tipos de orígenes de datos Análisis procedimientos almacenados 23
  • 22. ¿Cómo esta construida la aplicación? Aplicación en Vb.NET utilizando la API de SSIS Dispone de un lenguaje propio que es traducido a llamadas de esta API Pensado para reutilizar todo lo que se desarrolle sobre la API. Extender el lenguaje mencionado 24
  • 23. Ten en cuenta que… No es una ciencia exacta. Cada caso que encontremos es diferente al anterior Estas herramientas y metodologías tratan de acelerar el trabajo que tengamos que hacer en cada caso 25
  • 24. Conclusiones Utiliza siempre Buenas Prácticas Si ya estás en esa situación: - Hay solución - Se puede automatizar 26
  • 25. Si quieres disfrutar de las mejores sesiones de nuestros mentores de España y Latino América, ésta es tu oportunidad. http://summit.solidq.com/madrid/ Síguenos: 29