BIG DATA BASICS
NICHT NUR AUF DIE GRÖSSE KOMMT ES AN.
VOLUME
Use Case: LHC / CERN

Use Case: LHC / CERN

‣

27-km-Ring bei Genf,
100 m unter der Erde

‣

600 Millionen ProtonenKollisi...
Wie kann man mit diesem Daten-Volumen umgehen?

Use Case: LHC / CERN

‣

Wie speichern?

‣

Wie übertragen?

‣

Wie verarb...
Teile und (be)herrsche!

Use Case: LHC / CERN

WLCG
(World Wide LHC Computing Grid)

‣

‣
‣

170 Sites weltweit
‣ 4.000 – ...
VARIETY
Was wird aus Fernsehen?

Was wird aus Fernsehen?
„Online“ wird integriert ...
... und es wird interaktiv.
Use Case: TV und Social Media

„Wer wird in der nächsten
Woche vorne sein?”

„In order to win
you need to tune in …“

Gami...
Eine andere Art von Daten

Strukturierte Informationen

Unstrukturierte Informationen

Semi-strukturierte Informationen
VELOCITY
Use Case: Realtime Bidding
‣
‣
‣

weiblich
31 bis 40 Jahre alt
...
Was würden Sie für
eine exklusive Anzeige
auf der Seite...
VIELEN DANK! 
WIR SEHEN UNS AN UNSEREM INFOPOINT …
Nächste SlideShare
Wird geladen in …5
×

Big Data Basics

707 Aufrufe

Veröffentlicht am

@ Digitale Stadt Düsseldorf, 07.11.13

0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
707
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
3
Aktionen
Geteilt
0
Downloads
12
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie
  • accelerator underground, large ring from superconducting magnets to bend particles (picture)Coldest place on earth (He -271°C)Protons clockwise and counterclockwise at almost speed of lightCollisions at certain interaction points around the ring, surrounded by huge detectors (2 of 4 shown in picture)Huge interaction rateEach collision fires millions of detector channelsGenerates 1 PB/s of dataWay too heavy, need online decision on basic observables whether to keep eventRemaining dataset is still 25 PB/a
  • accelerator underground, large ring from superconducting magnets to bend particles (picture)Coldest place on earth (He -271°C)Protons clockwise and counterclockwise at almost speed of lightCollisions at certain interaction points around the ring, surrounded by huge detectors (2 of 4 shown in picture)Huge interaction rateEach collision fires millions of detector channelsGenerates 1 PB/s of dataWay too heavy, need online decision on basic observables whether to keep eventRemaining dataset is still 25 PB/a
  • Heatmap from http://rtm.hep.ph.ic.ac.uk/webstart.phpNeed WLCG to cope with the data volume170 sites layered in tiers (central tuer-0, national tier-1’s, many tier-2’s)Highlight sites specs + high-throughput bandwidth among sitesCollision data spread over the entire grid. Always keep copies.Provide data to final analysesMassive access from 8000 physicists in parallel. 1.5 million jobs/d.Jobs come to data, not vice versa. Save bandwidth.It works: Higgs Discovery 2012, many measurements and discoveries may lie ahead.
  • Big Data Basics

    1. 1. BIG DATA BASICS NICHT NUR AUF DIE GRÖSSE KOMMT ES AN.
    2. 2. VOLUME
    3. 3. Use Case: LHC / CERN Use Case: LHC / CERN ‣ 27-km-Ring bei Genf, 100 m unter der Erde ‣ 600 Millionen ProtonenKollisionen pro Sekunde ‣ Aufgezeichnet von Detektoren mit Millionen von Channels ‣ 1 PB generierte Daten pro Sekunde ‣ 25 PB gespeicherte Daten pro Jahr Illustration: CERN
    4. 4. Wie kann man mit diesem Daten-Volumen umgehen? Use Case: LHC / CERN ‣ Wie speichern? ‣ Wie übertragen? ‣ Wie verarbeiten? ‣ Wie etwas finden? Illustration: CERN
    5. 5. Teile und (be)herrsche! Use Case: LHC / CERN WLCG (World Wide LHC Computing Grid) ‣ ‣ ‣ 170 Sites weltweit ‣ 4.000 – 65.000 Cores ‣ 2 GB RAM pro Core ‣ 1 – 30 PB storage 1,5 Millionen Jobs pro Tag Zugriff in Echtzeit für 8.000 Physiker
    6. 6. VARIETY
    7. 7. Was wird aus Fernsehen? Was wird aus Fernsehen?
    8. 8. „Online“ wird integriert ...
    9. 9. ... und es wird interaktiv.
    10. 10. Use Case: TV und Social Media „Wer wird in der nächsten Woche vorne sein?” „In order to win you need to tune in …“ Gamification & CRM #GNTM ist in aller Munde … Social Media ProSieben Connect Echte Fans möchten mehr wissen … Backstage Content
    11. 11. Eine andere Art von Daten Strukturierte Informationen Unstrukturierte Informationen Semi-strukturierte Informationen
    12. 12. VELOCITY
    13. 13. Use Case: Realtime Bidding ‣ ‣ ‣ weiblich 31 bis 40 Jahre alt ... Was würden Sie für eine exklusive Anzeige auf der Seite bezahlen, die sie gerade betrachtet? Sie haben 300 Milli-Sekunden Zeit für Ihre Antwort!
    14. 14. VIELEN DANK!  WIR SEHEN UNS AN UNSEREM INFOPOINT …

    ×