Downloaden Sie, um offline zu lesen
Hochgeladen vonTim Lossen
OpenStoragePod -- "Big Data" mit kleinem Budget
Das Dokument beschreibt Herausforderungen und Lösungen zur kostengünstigen Speicherung großer Datenmengen, darunter kommerzielle und DIY-Ansätze. Es hebt die Bedeutung der Total Cost of Ownership (TCO) hervor und präsentiert Fallstudien, wie die von SoundCloud, sowie Konzeptideen für Open-Source-Storage-Pods. Darüber hinaus werden verschiedene Festplattenformate und deren Eigenschaften behandelt.
OpenStoragePod -- "Big Data" mit kleinem Budget
- 1. OpenStoragePod “BigData” mit kleinem Budget
- 2.
- 3. Herausforderung • Daten, Daten... immer mehr Daten! • wie speichern ?? • online • offline (= Archiv)
- 4. Lösung A • “Enterprise”Storage • proprietäre Hardware (teuer) • Software-Lizenzen (teuer) • plus Wartung, Support, Upgrades ...
- 5. Lösung B • Storageas a Service • Beispiel: Amazon S3 • keine Hardware • Kosten proportional zu Datenvolumen
- 6. Lösung C • DoIt Yourself • “Commodity” Hardware • Open Source Software
- 7. Fallstudie • Soundcloud ⎯“Flickr für Musik” • Startup aus Berlin • Januar 2010: 90 Terabyte (auf S3) • Januar 2011: 900 Terabyte ??
- 8.
- 9. Ziele • möglichst geringe“Total Cost of Ownership” (TCO) • Joule per Gigabyte minimieren! • auf mehrere Petabyte skalierbar • 100% Open Source
- 10.
- 11. Inspiration • Backblaze StoragePod • 4 U, 45 Festplatten (3.5 Zoll) • bis 90 Terabyte • optimiert für Backups
- 12.
- 14. Festplatten-Formate • 3.5 Zoll • Seagate “Barracuda LP”, 2 TB • 2.5 Zoll • WD “Scorpio Blue”, 1 TB
- 15. 3.5 Zoll 2.5 Zoll Preis 80 Euro Read / Write 3.4 Watt Idle 2.8 Watt Gewicht 330 Gramm Volumen 195 cm³ (jeweils pro Terabyte)
- 16. 3.5 Zoll 2.5 Zoll Preis 80 Euro 180 Euro Read / Write 3.4 Watt Idle 2.8 Watt Gewicht 330 Gramm Volumen 195 cm³ (jeweils pro Terabyte)
- 17. 3.5 Zoll 2.5 Zoll Preis 80 Euro 180 Euro Read / Write 3.4 Watt 2.5 Watt Idle 2.8 Watt Gewicht 330 Gramm Volumen 195 cm³ (jeweils pro Terabyte)
- 18. 3.5 Zoll 2.5 Zoll Preis 80 Euro 180 Euro Read / Write 3.4 Watt 2.5 Watt Idle 2.8 Watt 0.85 Watt Gewicht 330 Gramm Volumen 195 cm³ (jeweils pro Terabyte)
- 19. 3.5 Zoll 2.5 Zoll Preis 80 Euro 180 Euro Read / Write 3.4 Watt 2.5 Watt Idle 2.8 Watt 0.85 Watt Gewicht 330 Gramm 117 Gramm Volumen 195 cm³ (jeweils pro Terabyte)
- 20. 3.5 Zoll 2.5 Zoll Preis 80 Euro 180 Euro Read / Write 3.4 Watt 2.5 Watt Idle 2.8 Watt 0.85 Watt Gewicht 330 Gramm 117 Gramm Volumen 195 cm³ 88 cm³ (jeweils pro Terabyte)
- 21. Laptop-Festplatten • Massenprodukt ⎯relativ günstig • hohe Speicherdichte • geringer Energieverbrauch • kleine “Failure Units”
- 22.
- 23. Storage Node D120 •Mini-ITX Mainboard • 20 Festplatten (2.5 Zoll) ⎯ 20 TB • 5000 cm ⎯ 5 Liter • 100 Watt, 12 Volt Gleichstrom
- 25. Storage Pod D620 •4 Rack Units ⎯ 18 cm hoch • 6 Storage Nodes ⎯ 120 Terabyte • 2 redundante Gigabit Switches • 600 Watt, 220 Volt Wechselstrom • 2 redundante Netzteile
- 27. Storage Rack D6020 •10 Pods ⎯ 60 Nodes • 1.2 Petabyte • 6 Kilowatt • 2 redundante Switches
- 28. Status • Prototyp(en) existieren •Custom 5-Port SATA Backplane • Hersteller: Chyang Fun, Taiwan • Angebot: 1000 Stück für $50000
- 29. B105 ⎯ “TheCube” • 12 x 12 x 12 cm • 5 Festplatten (2.5 Zoll) • 1 Sheeva Mainboard • 20 Watt, 5 Volt
- 30.
- 31.
- 32.