Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Big data con Hadoop y SSIS 2016

631 Aufrufe

Veröffentlicht am

Introducción a Hadoop y sus herramientas. Presentación de las herramientas de integración que ofrece SQL Server Integration Services 2016 con Hadoop y HDInsight

Veröffentlicht in: Daten & Analysen
  • Loggen Sie sich ein, um Kommentare anzuzeigen.

  • Gehören Sie zu den Ersten, denen das gefällt!

Big data con Hadoop y SSIS 2016

  1. 1. ##SQLSatMadrid Big Data con Hadoop en SQL Server SSIS 2016 Ángel M. Rayo
  2. 2. ##SQLSatMadrid ¿Quién soy?  Ángel M. Rayo  twitter.com/oyara  Technology Lead Expert en Netmind  Más de 9.000 horas de experiencia formativa  Microsoft Certified Trainer desde 2005  MCDBA SQL 2000 – MCSA SQL 2014
  3. 3. ##SQLSatMadrid Agenda  Hadoop  HDInsight  SQL Server SSIS 2016  Referencias
  4. 4. ##SQLSatMadrid HADOOP Big Data con Hadoop en SQL Server SSIS 2016
  5. 5. ##SQLSatMadrid Hadoop Procesado distribuido Grandes conjuntos de datos Clústeres de ordenadores Modelos de programación sencillos Apache™ Hadoop®
  6. 6. ##SQLSatMadrid Hadoop • 2003 – Google File System • 2004 – MapReduce • 2006 – Hadoop 0.1.0 • 2011 – Hadoop 1.0 • 2015 – Hadoop 1.7 • 25 de agosto de 2016 – Hadoop 2.7.3
  7. 7. ##SQLSatMadrid Hadoop – Componentes Hadoop Common Hadoop Distributed File System (HDFS™) Hadoop YARN Hadoop MapReduce Apache™ Hadoop®
  8. 8. ##SQLSatMadrid Hadoop – Otros componentes
  9. 9. ##SQLSatMadrid Hadoop
  10. 10. ##SQLSatMadrid HDINSIGHT Big Data con Hadoop en SQL Server SSIS 2016
  11. 11. ##SQLSatMadrid HDInsight • Servicio Hadoop alojado en Microsoft Azure • Gestión de clústeres • Framework diseñado para: • Gestión • Análisis • Reporting • Utiliza la distribución Hortonworks Data Platform (HDP)
  12. 12. ##SQLSatMadrid HDInsight
  13. 13. ##SQLSatMadrid HDInsight – Uso • Hadoop as a Service (HaaS) • Crear soluciones y servicios Big Data • Administrar y monitorizar clústeres Hadoop • Analizar y generar estadísticas de: • Disponibilidad • Utilización
  14. 14. ##SQLSatMadrid HDInsight – Creación
  15. 15. ##SQLSatMadrid SQL SERVER SSIS 2016 Big Data con Hadoop en SQL Server SSIS 2016
  16. 16. ##SQLSatMadrid SQL Server • ¿Hace falta decir qué es? ;-) • Sistema gestor de bases de datos relacionales Microsoft • 1989 – SQL Server 1.0 • 1 de junio de 2016 – SQL Server 2016 (14.0)
  17. 17. ##SQLSatMadrid SQL Server 2016 – Servicios y herramientas Service Broker Replication Services Analysis Services Reporting Services Notification Services Visual Studio Integration Services SQL Server Management Studio Full Text Search Service Business Intelligence Dev Studio SQLCMD
  18. 18. ##SQLSatMadrid SQL Server 2016 SSIS • Plataforma de integración datos y aplicaciones de flujos de trabajo • Herramienta Data Warehouse rápida y flexible • ETL • Extraction • Transformation • Loading
  19. 19. ##SQLSatMadrid SQL Server 2016 SSIS Data Transformation Services (DTS) SQL Server Integration Services (SSIS) Disponible desde SQL Server 6.5 a SQL Server 2000 Disponible desde SQL Server 2005 .NET como base de ejecución Control Flow Data Flow Event Handlers Package Explorer
  20. 20. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Situación desde SQL Server 2016 • Se incluye Hadoop como fuente de datos • SSIS 2016 se integra con soluciones Big Data Situación hasta SQL Server 2014 • Podemos utilizar Hadoop mediante conexión ODBC • Acceso a recursos con scripts PowerShell
  21. 21. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Gestor de conexiones • WebHCat – API REST Apache™ Hive • WebHDFS – API REST HDFS
  22. 22. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Tareas de flujo de control (Control Flow) Hadoop File System Task Hadoop Hive Task Hadoop Pig Task
  23. 23. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop File System Task Funcionamiento • Obtiene, copia o mueve ficheros • Utiliza la API REST del clúster • El acceso es directo al almacén HDFS
  24. 24. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop File System Task
  25. 25. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop Hive Task Funcionamiento • Envía consultas HiveQL • Utiliza la API REST WebHCat (aka Templeton) • Funcionamiento mediante sistema de colas
  26. 26. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop Hive Task
  27. 27. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop Pig Task Funcionamiento • Envía scripts Pig • Pig Latin + API REST de WebHCat (aka Templeton) • Funcionamiento mediante sistema de colas
  28. 28. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop Pig Task
  29. 29. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Tareas de flujo de datos (Control Flow) HDFS File Source HDFS File Destination
  30. 30. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop HDFS File Source
  31. 31. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop HDFS File Destination
  32. 32. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Otros componentes • Azure Feature Pack for Integration Services (SSIS) • Componentes: • Gestores de conexiones Azure • Tareas • Componentes de flujo de datos (Data Flow) • Azure Blob Enumerator • https://www.microsoft.com/en-us/download/details.aspx?id=49492
  33. 33. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Gestores de conexiones Azure Azure Storage Connection Manager Azure Subscription Connection Manager
  34. 34. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Tareas Azure HDInsight Hive Task Azure HDInsight Pig Task Azure HDInsight Create Cluster Task Azure HDInsight Delete Cluster Task Azure Blob Upload Task Azure Blob Download Task
  35. 35. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Componentes Data Flow Azure Blob Source Azure Blob Destionation
  36. 36. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Azure Blob Enumerator
  37. 37. ##SQLSatMadrid Referencias Hadoop • http://hadoop.apache.org/ HDInsight • https://azure.microsoft.com/es-es/services/hdinsight/ SQL Server 2016 • http://www.microsoft.com/es-es/server-cloud/products/sql-server/default.aspx
  38. 38. ##SQLSatMadrid Gracias ¡GRACIAS! @oyara @netmindIT
  39. 39. ##SQLSatMadrid BIG Thanks to SQLSatMadrid Sponsors
  40. 40. ##SQLSatMadrid 4 Sponsor Sessions at 11:40 Don’t miss them, they might be getting distributing some awesome prizes!  HPE  SolidQ  KABEL  TSD Consulting Also BIG Raffle prizes at the end of the event provided by: Plainconcepts, SolidQ, Kabel, TSD Consulting, Pyramid Analytics & sqlpass.es

×