Downloaden Sie, um offline zu lesen
Hochgeladen voninovex GmbH
SQL on Hadoop für praktikables BI auf Big Data
Das Dokument behandelt die Integration von SQL in Hadoop für Business Intelligence-Anwendungen im Bereich Big Data und umfasst einen Überblick über verschiedene SQL-Lösungen wie Hive, Presto und Impala. Es wird erklärt, warum SQL für Big Data relevant ist und welche Probleme bei der Nutzung von Hive auftreten, während Verbesserungsvorschläge und technische Details zu verschiedenen SQL-Engines präsentiert werden. Abschließend wird auf die schnell wachsende und komplexe Natur des Big Data-Umfelds hingewiesen und die Bedeutung der individuellen Evaluierung von Lösungen betont.
Weitere ähnliche Inhalte
SQL on Hadoop für praktikables BI auf Big Data
- 1. SQL on Hadoopfür praktikables BI auf Big Data ! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh
- 2. 2 War nicht BigDatadas gleiche NoSQL?
- 3. 3 Wie viele SQLLösungen für Hadoop gibt es mittlerweile?
- 4. 4 ! No SQL!? Hive Presto Hive onSpark Shark Hive-on-Tez Tajo Lingual Apache DrillPhoenix Trafodion Hadapt BigSQL CitusDB Impala Spark SQL Splice Pivotal HAWQ IBM BigSQL Aster SQL/Mapreduce Oracle Hadoop Connector InfiniDB Kylin
- 5. 5 Agenda • Warum SQL,Anwendungfälle •Überblick Hive • Wie kann Hive verbessert werden • SQL-Engines:Welche für was? • Zusammenfassung
- 6. 6 Warum jetzt dochSQL? flickr.com/salynaz • Türöffner zur BigData-Welt • Kenntnisse weit verbreitet • Software:Treiber vorhanden flickr.com/salynaz
- 7. 7 No SQL? Hive Presto Hive onSpark Shark Hive-on-Tez Tajo Lingual Apache DrillPhoenix Trafodion Hadapt BigSQL CitusDB Impala Spark SQL Splice Pivotal HAWQ IBM BigSQL Aster SQL/Mapreduce Oracle Hadoop Connector InfiniDB Kylin
- 8. 8 Hive ursprünglich von Facebook •ursprünglich von Facebook • Compiliert HiveQL, ein SQL-Dialekt, zu MapReduce-Jobs • Schema wird separat zu den Daten abgelegt: Metastore
- 9.
- 10. 10 Hive ETL: gut geeignet •ETL: gut geeignet • Ad-hoc: Zu hohe Latenz • Analytics: Latenz, Sprachumfang ungenügend
- 11. 11 Was kann manbesser machen? Oder: Warum ist Hive wie es ist
- 12. 12 Hive auf Mapreduce Rot:Plattenzugriff Kunden Adressen Käufe Produkte Map Map Reduce Temporärtabelle Map Reduce Reduce-side Join HDFS Shuffle Shuffle HDFS HDFS HDFS Map-Side Join HDFS HDFS HDFS HDFS Zieltabelle
- 13. 13 Optimiertes Hive: DAGs KundenAdressen Käufe Produkte Map Map Reduce Reduce Reduce-side Join Shuffle Shuffle Map-Side Join HDFS HDFS HDFS HDFS Adressen HDFS
- 14. 14 Hive Presto Hive on Spark Shark Hive-on-Tez Tajo Lingual ApacheDrillPhoenix Trafodion Hadapt BigSQL CitusDB Impala Spark SQL Splice Pivotal HAWQ IBM BigQuery Aster SQL/Mapreduce Oracle Hadoop Connector InfiniDB Kylin
- 15. 15 MPP (massive parallelprocessing) Datenbanken HDFS Slave (blackbox) Master Slave (blackbox) Slave (blackbox) Slave (blackbox) HDFS HDFS HDFS
- 16. 16 MPP-basiert Hive Presto Hive on Spark Shark Hive-on-Tez Tajo Lingual ApacheDrillPhoenix Trafodion Hadapt BigSQL CitusDB Impala Spark SQL Splice Pivotal HAWQ IBM BigSQL Aster SQL/Mapreduce Oracle Hadoop Connector InfiniDB Kylin
- 17. 17 No SQL!? Hive Presto Hive onSpark Shark Hive-on-Tez Tajo Lingual Apache DrillPhoenix Trafodion Hadapt BigSQL CitusDB Impala Spark SQL Splice Pivotal HAWQ IBM BigSQL Aster SQL/Mapreduce Oracle Hadoop Connector InfiniDB Kylin
- 18. 18 Stinger initiative • Hortonworks/Microsoft •Hive weiterentwickeln • Geschwindigkeit:Tez, ORC • SQL-Features,Analytische Queries (OVER) • Security (GRANT)
- 19. 19 Tez und Spark TEZ Hive Spark SparkMR YARN • YARN:Tez, Spark und Hive nebeneinander • Tez: Neuer, spezialisierter • Spark: generischer, viel Monumentum TEZ Hive Spark Spark MR YARN
- 20. 20 Impala • MPP-basiert • Querieszu nativem Code • Speicherhungrig, empfohlen 128GB • keine strukturierten Datentypen • Zwischenergebnisse müssen in RAM passen (bis Impala 2.0)
- 21. 21 Facebooks Presto • MPP-Engine •Discovery-Server + Worker-Nodes • Struktur-Datentypen -> JSON • Hive, Cassandra, MySQL • Anwendung bei Facebook: Fact-table in Hive, Dimensions in MySQL • einfaches Deployment
- 22. 22 Apache Drill • MapR’s • Schema-on-Read • Connectoren für Hive, HBase, JSON, CSV. • Joins über mehrere Quellen hinweg • Compliliert Queries zu Java-Byte-Code • Version 0.5.0
- 23. 23 Kylin Sehr neu, entwickeltvon eBay (M)OLAP Engine Aggregate werden in HBase gespeichert
- 24.
- 25. 25 Mondrian mit Hive/ Impala + Saiku UI
- 26.
- 27.
- 28. 28 Resume I Zahlen nochunzuverlässig Schnell Ausgereift Connectivity Sprach- UmfangHive PrestoImpala Drill Tez/Spark Tajo
- 29. Resumé • Extrem schnellwachsendes, sich änderndes Umfeld. • Unübersichtlich • Keine „One-Size-Fits-All“ Lösung bisher • Anhand des individuellen Anwendungsfalles zu evaluieren.
- 30. 30 Kontakt ! Hans-Peter Zorn Data Management& Analytics ! inovex GmbH Office Karlsruhe Ludwig-Erhard-Allee 6 76131 Karlsruhe ! 0173 31 81 093 hzorn@inovex.de ! Vielen Dank für Eure Aufmerksamkeit!