Hadoop Einführung
Dev Friday
Frankfurt
Every 2 Days We Create As Much Information
As We Did Up To 2003
Eric Schmidt
Weltweit
MongoDB
Hadoop
Cassandra
Google Trends
Deutschland
MongoDB
Hadoop
Cassandra
Google Trends
Einführung Hadoop Ausblick
Einführung
Big Data
3V
Volume
Data in Rest
Velocity
Data in Motion
Variety
Data in Many
Forms
Scale up vs. Scale out
many “small” nodesBig single node system
Advantages
Problems
• Transparent for database system
• Ma...
Key-Value-Datenbanken
Dokumentenorientierte
Datenbanken
Spaltenorientierte Datenbanken Graph Datenbanken
Hadoop
Sqoop
Oozie
Flume
Hadoop
Pig
HBase
Mahout
Drill
Lucene
Hive
Spark
Ambari
HDFS
HCatalog
Kafka
Yarn
MapR
Zookeeper
Cassandra...
COMPUTE,
SEARCH
ANALYTICS,
MACHINEL.
PERSIST
MONITOR,
ADMINISTER
DESCRIBE,
DEVELOP
INGEST,
PROPAGATE
Mahout Drill
OozieAmb...
Name Node
Secondary Name
Node
Data Node Data Node ….. Data Node
Periodic check point
Master
Slave
HDFS
Name Node
Secondary Name
Node
Data Node Data Node ….. Data Node
Name Node verwaltet Verzeichnisse, Dateien im HDFS und Blö...
Job Tracker
Task Tracker Task Tracker ….. Task Tracker
Master
Slave
Map Reduce
Job Tracker
Task Tracker Task Tracker ….. Task Tracker
Master
Slave
Job Tracker verwaltet die Jobs und Ressourcen im Clust...
http://2.bp.blogspot.com/-o6GdA8CBDv0/T-g_H8Dso6I/AAAAAAAAAY4/B21YgDYvxM8/s1600/MR.png
Map Reduce
Demo
Ausblick
http://de.hortonworks.com/products/hortonworks-sandbox/#install
Ersten Schritte…
Download Hortonworks Sandbox
5GB
Danke
Akhlaq Malik
Hadoop Einführung @codecentric
Hadoop Einführung @codecentric
Hadoop Einführung @codecentric
Nächste SlideShare
Wird geladen in …5
×

Hadoop Einführung @codecentric

438 Aufrufe

Veröffentlicht am

Hadoop Einführung Dev Friday

Veröffentlicht in: Technologie
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
438
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
3
Aktionen
Geteilt
0
Downloads
11
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Hadoop Einführung @codecentric

  1. 1. Hadoop Einführung Dev Friday Frankfurt
  2. 2. Every 2 Days We Create As Much Information As We Did Up To 2003 Eric Schmidt
  3. 3. Weltweit MongoDB Hadoop Cassandra Google Trends
  4. 4. Deutschland MongoDB Hadoop Cassandra Google Trends
  5. 5. Einführung Hadoop Ausblick
  6. 6. Einführung
  7. 7. Big Data 3V Volume Data in Rest Velocity Data in Motion Variety Data in Many Forms
  8. 8. Scale up vs. Scale out many “small” nodesBig single node system Advantages Problems • Transparent for database system • Management complexity constant • Expensive hardware • Limited scalability Advantages Problems • Less expensive hardware • High scalability • Load balancing necessary • Distributed lock and replication
 protocols • Increased management complexity • Data distribution necessary • Increased error rate
  9. 9. Key-Value-Datenbanken Dokumentenorientierte Datenbanken Spaltenorientierte Datenbanken Graph Datenbanken
  10. 10. Hadoop
  11. 11. Sqoop Oozie Flume Hadoop Pig HBase Mahout Drill Lucene Hive Spark Ambari HDFS HCatalog Kafka Yarn MapR Zookeeper Cassandra Spark
  12. 12. COMPUTE, SEARCH ANALYTICS, MACHINEL. PERSIST MONITOR, ADMINISTER DESCRIBE, DEVELOP INGEST, PROPAGATE Mahout Drill OozieAmbari FlumeKafka Sqoop Pig HBase Hive HDFS MapR HCatalog Lucene Zookeeper Cassandra Spark
  13. 13. Name Node Secondary Name Node Data Node Data Node ….. Data Node Periodic check point Master Slave HDFS
  14. 14. Name Node Secondary Name Node Data Node Data Node ….. Data Node Name Node verwaltet Verzeichnisse, Dateien im HDFS und Blöcke in den Data Nodes Data Nodes enthalten die eigentlichen Dateien und sind zuständig die Auslieferung der Dateien für die Anfragen. Master Slave Second. NN überprüft periodisch den NN und logt die checkpoints um den NN bei Absturz neuzustarten. HDFS
  15. 15. Job Tracker Task Tracker Task Tracker ….. Task Tracker Master Slave Map Reduce
  16. 16. Job Tracker Task Tracker Task Tracker ….. Task Tracker Master Slave Job Tracker verwaltet die Jobs und Ressourcen im Cluster Task Tracker eigentliche Ausführung von MapReduce-Jobs zuständig. Map Reduce
  17. 17. http://2.bp.blogspot.com/-o6GdA8CBDv0/T-g_H8Dso6I/AAAAAAAAAY4/B21YgDYvxM8/s1600/MR.png Map Reduce
  18. 18. Demo
  19. 19. Ausblick
  20. 20. http://de.hortonworks.com/products/hortonworks-sandbox/#install Ersten Schritte… Download Hortonworks Sandbox 5GB
  21. 21. Danke Akhlaq Malik

×