Downloaden Sie, um offline zu lesen
Hochgeladen voninovex GmbH
Sql on-hadoop-fuer-praktikables-bi-auf-big-data-zorn-benz-osbi-workshop-05.03.2015
Das Dokument behandelt die Verwendung von SQL auf Hadoop für Business Intelligence im Kontext von Big Data und bietet einen Überblick über verschiedene SQL-Engines wie Hive, Presto und Impala. Es wird dargelegt, warum SQL trotz der Präsenz von NoSQL-Lösungen relevant bleibt und diskutiert die Architektur und Optimierungsmöglichkeiten von Hive sowie neue Entwicklungen und Herausforderungen in diesem Bereich. Die Präsentation schließt mit der Erkenntnis, dass es momentan keine universelle Lösung gibt und dass die Auswahl von Technologien von den spezifischen Anwendungsfällen abhängt.
Weitere ähnliche Inhalte
Ähnlich wie Sql on-hadoop-fuer-praktikables-bi-auf-big-data-zorn-benz-osbi-workshop-05.03.2015
Sql on-hadoop-fuer-praktikables-bi-auf-big-data-zorn-benz-osbi-workshop-05.03.2015
- 1. SQL on Hadoopfür praktikables BI auf Big Data ! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh
- 2. 2 War nicht BigDatadas gleiche NoSQL?
- 3. 3 Wie viele SQLLösungen für Hadoop gibt es mittlerweile?
- 4. 4 ! No SQL!? Hive Presto Hive onSpark Shark Hive-on-Tez Tajo Lingual Apache DrillPhoenix Trafodion Hadapt BigSQL CitusDB Impala Spark SQL Splice Pivotal HAWQ IBM BigSQL Aster SQL/Mapreduce Oracle Hadoop Connector InfiniDB Kylin
- 5. 5 Agenda • Warum SQL,Anwendungfälle •Überblick Hive • Wie kann Hive verbessert werden • SQL-Engines:Welche für was? • Zusammenfassung
- 6. 6 Warum jetzt dochSQL? flickr.com/salynaz • Türöffner zur BigData-Welt • Kenntnisse weit verbreitet • Software:Treiber vorhanden flickr.com/salynaz
- 7. 7 No SQL? Hive Presto Hive onSpark Shark Hive-on-Tez Tajo Lingual Apache DrillPhoenix Trafodion Hadapt BigSQL CitusDB Impala Spark SQL Splice Pivotal HAWQ IBM BigSQL Aster SQL/Mapreduce Oracle Hadoop Connector InfiniDB Kylin
- 8. 8 Hive ursprünglich von Facebook •ursprünglich von Facebook • Compiliert HiveQL, ein SQL-Dialekt, zu MapReduce-Jobs • Schema wird separat zu den Daten abgelegt: Metastore
- 9.
- 10. 10 Hive ETL: gut geeignet •ETL: gut geeignet • Ad-hoc: Zu hohe Latenz • Analytics: Latenz, Sprachumfang ungenügend
- 11. 11 Was kann manbesser machen? Oder: Warum ist Hive wie es ist
- 12. 12 Hive auf Mapreduce Rot:Plattenzugriff Kunden Adressen Käufe Produkte Map Map Reduce Temporärtabelle Map Reduce Reduce-side Join HDFS Shuffle Shuffle HDFS HDFS HDFS Map-Side Join HDFS HDFS HDFS HDFS Zieltabelle
- 13. 13 Optimiertes Hive: DAGs KundenAdressen Käufe Produkte Map Map Reduce Reduce Reduce-side Join Shuffle Shuffle Map-Side Join HDFS HDFS HDFS HDFS Adressen HDFS
- 14. 14 Hive Presto Hive on Spark Shark Hive-on-Tez Tajo Lingual ApacheDrillPhoenix Trafodion Hadapt BigSQL CitusDB Impala Spark SQL Splice Pivotal HAWQ IBM BigQuery Aster SQL/Mapreduce Oracle Hadoop Connector InfiniDB Kylin
- 15. 15 MPP (massive parallelprocessing) Datenbanken HDFS Slave (blackbox) Master Slave (blackbox) Slave (blackbox) Slave (blackbox) HDFS HDFS HDFS
- 16. 16 MPP-basiert Hive Presto Hive on Spark Shark Hive-on-Tez Tajo Lingual ApacheDrillPhoenix Trafodion Hadapt BigSQL CitusDB Impala Spark SQL Splice Pivotal HAWQ IBM BigSQL Aster SQL/Mapreduce Oracle Hadoop Connector InfiniDB Kylin
- 17. 17 No SQL!? Hive Presto Hive onSpark Shark Hive-on-Tez Tajo Lingual Apache DrillPhoenix Trafodion Hadapt BigSQL CitusDB Impala Spark SQL Splice Pivotal HAWQ IBM BigSQL Aster SQL/Mapreduce Oracle Hadoop Connector InfiniDB Kylin
- 18. 18 Stinger initiative • Hortonworks/Microsoft •Hive weiterentwickeln • Geschwindigkeit:Tez, ORC • SQL-Features,Analytische Queries (OVER) • Security (GRANT)
- 19. 19 Tez und Spark TEZ Hive Spark SparkMR YARN • YARN:Tez, Spark und Hive nebeneinander • Tez: Neuer, spezialisierter • Spark: generischer, viel Monumentum TEZ Hive Spark Spark MR YARN
- 20. 20 Impala • MPP-basiert • Querieszu nativem Code • Speicherhungrig, empfohlen 128GB • keine strukturierten Datentypen • Zwischenergebnisse müssen in RAM passen (bis Impala 2.0)
- 21. 21 Facebooks Presto • MPP-Engine •Discovery-Server + Worker-Nodes • Struktur-Datentypen -> JSON • Hive, Cassandra, MySQL • Anwendung bei Facebook: Fact-table in Hive, Dimensions in MySQL • einfaches Deployment
- 22. 22 Apache Drill • MapR’s • Schema-on-Read • Connectoren für Hive, HBase, JSON, CSV. • Joins über mehrere Quellen hinweg • Compliliert Queries zu Java-Byte-Code • Version 0.5.0
- 23. 23 Kylin Sehr neu, entwickeltvon eBay (M)OLAP Engine Aggregate werden in HBase gespeichert
- 24.
- 25. 25 Mondrian mit Hive/ Impala + Saiku UI
- 26.
- 27.
- 28. 28 Resume I Zahlen nochunzuverlässig Schnell Ausgereift Connectivity Sprach- UmfangHive PrestoImpala Drill Tez/Spark Tajo
- 29. Resumé • Extrem schnellwachsendes, sich änderndes Umfeld. • Unübersichtlich • Keine „One-Size-Fits-All“ Lösung bisher • Anhand des individuellen Anwendungsfalles zu evaluieren.
- 30. 30 Kontakt ! Hans-Peter Zorn Data Management& Analytics ! inovex GmbH Office Karlsruhe Ludwig-Erhard-Allee 6 76131 Karlsruhe ! 0173 31 81 093 hzorn@inovex.de ! Vielen Dank für Eure Aufmerksamkeit!