Michael Wittig – IT-Tage 2015 – Datenbanken und Big Data: Datenbank am Limit – Spaltenorientierung als Ausweg
•
0 gefällt mir•219 views
Wir alle kennen und schätzen SQL- und NoSQL-Datenbanken. Doch es gibt Anwendungsfälle, in denen diese Datenbanken an ihre Grenzen stoßen. Zum Beispiel bei der Analyse von Finanzmarktdaten. Dort müssen Zeitreihen von enormer Größe verarbeitet werden. Der Vortrag zeigt auf, wie spaltenorientierte Datenbanken dieses Problem lösen. Die Architektur solcher Tickdata-Systeme wird beleuchtet. Der Vortrag endet mit dem Beispiel einer technischen Implementierung für Finanzmarktdaten.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Andere mochten auch
Andere mochten auch (7)
Ähnlich wie Michael Wittig – IT-Tage 2015 – Datenbanken und Big Data: Datenbank am Limit – Spaltenorientierung als Ausweg
Ähnlich wie Michael Wittig – IT-Tage 2015 – Datenbanken und Big Data: Datenbank am Limit – Spaltenorientierung als Ausweg (20)
Michael Wittig – IT-Tage 2015 – Datenbanken und Big Data: Datenbank am Limit – Spaltenorientierung als Ausweg
- 2. Michael Wittig Datenbank am Limit Spaltenorientiert als Ausweg
- 3. SELECT Datum, … FROM … WHERE Symbol='Daimler' AND Datum>=2015.01.01 AND Zeit BETWEEN 11:00:00 AND 13:00:00 GROUP BY Datum
- 4. 1. Domäne „Finanzmarkt“ 3. spaltenorientierte Datenbank kdb+ 4. echtzeit Datenbank kdb+tick 2. (On-Disk) Repräsentation von Daten
- 6. Zeit Käufer Verkäufer 11:00:00.000 11:00:00.009 11:00:00.025 11:00:00.207 11:00:00.555 11:00:00.873 5000 @ 84,81 4700 @ 84,81 1000 @ 84,82 7000 @ 84,81 2000 @ 84,81 1500 @ 84,81 500 @ 84,82 200 @ 84,82 900 @ 84,83 800 @ 84,82 200 @ 84,82 100 @ 84,82 Daimler Aktie sortiert, unregelmäßig
- 8. Volumen?
- 9. durchschnittlich 5 Quotes / Sekunde Daimler Aktie maximal 200 Quotes / Sekunde
- 11. append only
- 12. On-Disk Repräsentation Wie speichert meine Datenbank die Daten?
- 13. zeilenorientierter Ansatz Zeit Käufer Verkäufer Lokalität
- 19. Zeile => Datei
- 21. /Datenbank /Daimler_Quotes /1.dat /2.dat /3.dat /4.dat /5.dat SELECT Käufer_Preis FROM Daimler_Quotes WHERE Zeit>10:00:00
- 22. /Datenbank /Daimler_Quotes /1.dat /2.dat /3.dat /4.dat /5.dat SELECT Käufer_Preis FROM Daimler_Quotes WHERE Zeit>10:00:00
- 23. /Datenbank /Daimler_Quotes /123.dat SELECT Käufer_Preis FROM Daimler_Quotes WHERE Zeit>10:00:00 Zeit 10:00:03 Käufer_Menge 7000 Käufer_Preis 84,81 Verkäufer_Menge 84,82 Verkäufer_Preis 1000 > 10:00:00 Binäre Suche über alle Dateien *.dat
- 24. /Datenbank /Daimler_Quotes /1.dat /2.dat /3.dat /4.dat /5.dat SELECT Käufer_Preis FROM Daimler_Quotes WHERE Zeit>10:00:00 /Datenbank /Daimler_Quotes /124.dat /125.dat /126.dat /127.dat /… Lese alle Dateien ab 124.dat
- 27. spaltenorientierter Ansatz Zeit Käufer Verkäufer Lokalität
- 31. Spalte => Datei
- 33. /Datenbank /Daimler_Quotes /Zeit.dat /Käufer_Menge.dat /Käufer_Preis.dat /Verkäufer_Menge.dat /Verkäufer_Preis.dat SELECT Käufer_Preis FROM Daimler_Quotes WHERE Zeit>10:00:00
- 34. /Datenbank /Daimler_Quotes /Zeit.dat /Käufer_Menge.dat /Käufer_Preis.dat /Verkäufer_Menge.dat /Verkäufer_Preis.dat SELECT Käufer_Preis FROM Daimler_Quotes WHERE Zeit>10:00:00
- 35. /Datenbank /Daimler_Quotes /Zeit.dat SELECT Käufer_Preis FROM Daimler_Quotes WHERE Zeit>10:00:00 Zeile Daten … 120 09:59:51 121 09:59:57 123 10:00:03 124 10:00:12 … > 10:00:00 Binäre Suche über eine Datei Zeit.dat sortiert
- 36. /Datenbank /Daimler_Quotes /Käufer_Preis.dat SELECT Käufer_Preis FROM Daimler_Quotes WHERE Zeit>10:00:00 Zeile Daten 123 84,81 124 84,82 125 84,82 126 84,81 127 84,80 … Lese eine Datei Käufer_Preis.dat erst ab Zeile 123
- 38. Optimierung?
- 40. /DaimlerQuotes /2015-01-01 /Zeit.dat, Käufer_Preis.dat, … /2015-01-02 /Zeit.dat, Käufer_Preis.dat, … /2015-01-03
- 41. /DaimlerQuotes /2015-01-01 /Zeit.dat, Käufer_Preis.dat, … /2015-01-02 /Zeit.dat, Käufer_Preis.dat, … /2015-01-03 SELECT Käufer_Preis FROM DaimlerQuotes WHERE Datum=2015-01-02 AND Zeit>10:00:00
- 42. /DaimlerQuotes /2015-01-01 /Zeit.dat, Käufer_Preis.dat, … /2015-01-02 /Zeit.dat, Käufer_Preis.dat, … /2015-01-03 SELECT Käufer_Preis FROM DaimlerQuotes WHERE Datum=2015-01-02 AND Zeit>10:00:00
- 43. spaltenorientierte Vorteile • nur benötigte Partitionen lesen • nur benötigte Spalten lesen • Sortierung ausnutzen
- 44. Spalte => Array
- 45. „The layout of data structures in memory can have a significant impact on performance because of the architecture of caches in modern processors.“ Evolution and Practice: Low-latency Distributed Applications in Finance, ACM Queue, Volume 13, issue 4 http://queue.acm.org/detail.cfm?ref=rss&id=2770868
- 47. Wie analysieren die größten Finanzinstitute der Welt Zeitreihen?
- 49. Was ist kdb+? • In-Memory Datenbank mit Persistenzschicht • Spaltenorientiert • Abfragesprache Q oder Q-SQL • Daten liegen im Speicher, in Transit und auf Festplatte im selben Format vor
- 50. select max kauf_preis by datum from quotes where symbol=`Daimler datum | kauf_preis ———————————————————————— 2015-01-02 | 75,57 2015-01-03 | 74,81 2015-01-04 | 76,13
- 51. Demo
- 52. Was kdb+ nicht ist • normale Datenbank • weit verbreitet
- 54. kdb+tick Quote Pub/Sub System aktueller Tag Historie (< aktueller Tag) 00:00:00
- 55. Tickerplant • Setzen eines Zeitstempels: garantiert Sortierung • Speichern der Daten in einem Logfile • Publish/Subscribe Mechanismus • Initiierung des Endofday Events beim wechseln des Tages (00:00:00 Uhr) • Input: 100.000 Werte / Sekunde (1 Thread)
- 56. Chains Quote 10 Sekunden Aggregation 15 Minuten Aggregation Tages Volumen Tages Hoch/Tief Konsument
- 57. Echtzeit Datenbank • subskribiert beim Start alle Daten bei der tp • liest das aktuelle Logfile ein • hält alle Daten des aktuellen Tages im Speicher • persistiert alle Daten des Tages auf Platte bei Endofday Event
- 58. Historische Datenbank • beinhaltet alle Daten, die älter als der aktuelle Tag sind
- 59. Demo
- 62. Alternativen?