28-mal heruntergeladen
Hochgeladen vonThoughtworks
Quarterly Technology Briefing - Big Data - Germany
Das Dokument behandelt die Konzepte und Techniken des 'Big Data', einschließlich der Herausforderungen bei der Preisgestaltung im Einzelhandel und der Rolle von Data Scientists und Data Engineers. Es hebt die Wichtigkeit von agiler Analyse und Technologien wie Google BigQuery hervor, ebenso wie die ethischen Überlegungen im Umgang mit Daten. Es wird auch auf die Notwendigkeit von Datensparsamkeit und verantwortungsvoller Datennutzung eingegangen.
Weitere ähnliche Inhalte
Ähnlich wie Quarterly Technology Briefing - Big Data - Germany
Quarterly Technology Briefing - Big Data - Germany
- 1. H a mb u r g , J u n e 2 0 1 4 QUARTERLY TECHNOLOGY BRIEFING Moin!
- 2.
- 3.
- 4.
- 5. AGENDA ▫︎Was ist ‘BigData’ ▫︎Preis Informationen im Einzelhandel ! ▫︎Agile Analytics ▫︎Data Engineer und Data Scientist ! ▫︎AutoTrader und BigQuery ! ▫︎Social Backlash und Datensparsamkeit 5
- 6. WAS IST ‘BIGDATA’ 6
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13. THE CHALLENGE: PREISINFORMATIONSSYSTEM ! ! ▫︎Datewarehouse auf TerraData Basis ! ▫︎ Business Requirements änderten sich - IT kam nicht mit ! ▫︎ ~50 analytische Vektoren ! ▫︎ 12 Stunden -> Realtime 13
- 14. MICROSERVICES ON STEROIDS 14 ……… 2010 2011 2014 ~150 Instanzen 1 Server 200.000.000 Zeilen / Instanz
- 15.
- 16. AGILE ANALYTICS 16 analytics technologies agile delivery leanlearning ` fast results
- 17. 17 Value Complexity descriptive diagnostic predictive prescriptive Was ist passiert? Warumist es passiert? Was wird geschehen? Wie können wir es eintreten lassen?
- 18.
- 19. 19 Data Lab Operationalisierung 2Wochen 2 Monate ! ! Brainstorming Datenanalyse ~1.000.000 Edges Experimente / Spikes (Gephi) Tests mit Mitarbeitern
- 20.
- 21.
- 22. NEO4J ! ▫︎“Natural fit” fürGraphen basierte Queries ! ▫︎Basis Graph Algorithmen “on-board” ▫︎Shortest Path, Centrality, Pattern Matching ! ▫︎Java API mit guter Performance ▫︎Netzwerk einer Person (400 Nodes) in < 1 Sekunde 22
- 23. 23 Data Lab Operationalisierung 2Wochen 2 Monate ! ! Neo4j als Datastore Batch Import (14 Jahre) aus MSSQL - ~95.000.000 Edges Dropwizard (REST, HealtChecks) - read only A/B Testing via Email
- 24. ROLLEN: WER MACHTWAS? ! ▫︎Ergänzung zur klassischen IT ! ▫︎Kernkompetenzen 24 data engineer data scientist
- 25. DATA ENGINEER ! ! ▫︎Implementiert dasanalytische Modell in Produktion ! ▫︎Schnittstelle zur Softwareentwicklung ! ▫︎Expertise in SQL, NoSQL, Datenmodellierung, Infrastruktur (Hadoop...) ! ▫︎Unterstützt den “Data Scientist” bei Mining und Aufbereitung 25
- 26.
- 27. “SEXIEST JOB OFTHE 21ST CENTURY” Hat Annahmen und überprüft diese ! “Hacker-Mentalität” ! Hilft durch fundierte Informationen Entscheidungen zu treffen ! Validiert das Alleinstellungsmerkmal des Produktes ! Weiss wie man die richtigen Fragen stellt 27
- 28. DATA SCIENTIST Machine Learning SupportVector Machines Decision Trees Clustering, ... Domain-Wissen Geschäftliches Detailwissen Statistische Modellierung Bayes-Klassifikation K-Nearest-Neighbour, ... Programmierung R, Matlab, Python, ... 28
- 29. BEISPIEL ANALYSE Multiple-Choice ! ▫︎ 10Fragen ▫︎ 4 mögliche Antworten ! ergibt 40 dimensionalen Vektor ! ! ! Welches Wissen im Datensatz? 29
- 30. K-MODES CLUSTERING ! ▫︎ Fürkategoriale Daten ▫︎ Ähnlich K-Means, modifiziert @ Bell Labs ! ! ! ! ! Quelle: Weston Pace (Wikimedia Commons, cc-by-sa) 30
- 31. K-MEANS VS K-MODES ! ! ▫︎Vereinfachung der Vektorbildung/Euklidische Distanz ! ▫︎ Stattdessen: Abzählen der erfolgreichsten Antwort (“mode”) ! ▫︎ Einfache Distanz: Anzahl der Verschiedenen Antworten 31
- 32. VEREINFACHUNG ALS VORTEIL ! ! ! K-Modeserzwingt eine klarere Cluster-Bildung ! ! Schlechte Performance bei schwacher Korrelation 32
- 33.
- 34. GOOGLE BIG QUERY ! ! ▫︎Queriesüber Milliarden von Zeilen in Sekunden ! ▫︎Gut zum analysieren, aber nicht zum modifizieren ! ▫︎Keine eigene Infrastruktur benötigt ! ▫︎Einfaches Setup durch gutes Tooling: gsutil / bq 34
- 35. AUTOTRADER UK /GOOGLE BIG QUERY ! ▫︎3 Entwickler / 5 Tage / 5 Jahre Datenbestand (~1.500.000.000 Zeilen) ! ▫︎Queries via BigQuery WebConsole, später API ! ▫︎Google App Engine Frontend mit Google Charts 35
- 36.
- 37. ETHISCHE GESICHTSPUNKTE ! ! ! ▫︎Daten alsneue Währung ! ▫︎Technologischer Fortschritt im Konflikt mit gesellschaftlicher Norm 37
- 38. ETHISCHE GESICHTSPUNKTE “How TargetFigured Out A Teen Girl Was Pregnant Before Her Father Did” 38
- 39. INFORMATIONELLE SELBSTBESTIMMUNG ! ! Rechtliche Anforderung,§ 3a BSDG ! Aktuelle Themen NSA-Affäre Datendiebstahl ! Betrifft alle die private Daten speichern und verarbeiten 39
- 40. DOE VERSUS NETFLIX ▫︎$1.000.000Wettbewerb um das Netflix Recommendation-System zu verbessern ! ▫︎Veröffentlichung eines pseudonymisierter Datensets ! ▫︎Kreuzkorrelation zu öffentlichen Bewertungen auf IMDB.com ! ▫︎Ermöglichte Zuordnung zu bekannten Benutzerprofilen 40
- 41. DATENSPARSAMKEIT ! Datenerhebung nur soweitfür die Erfüllung der Aufgabe nötig 41
- 42. KONKRETE LÖSUNGEN ! ! ▫︎Unique visitors? ▫︎GehashteIP-Adressen ! ▫︎Geo-IP Zuordnung ▫︎Auslassen des 4. Oktetts ! ! ! Quelle: Martin Fowler “Datensparsamkeit” 42
- 43.
- 44.
- 45. CREDITS Chris: http://www.wired.com/images_blogs/wiredscience/2014/01/ff_lovehacker_f.jpg Clustering: http://www.wired.com/images_blogs/wiredscience/2014/01/ff_lovehacker2_large.jpg Chris+ Wife: http://i.huffpost.com/gen/1579914/thumbs/o-OKCUPID-LOVE-facebook.jpg Kassenbon: http://www.kundenkunde.de/wp-content/uploads/2011/06/kassenbon_kaufland_gross.jpg Data Science: http://upload.wikimedia.org/wikipedia/commons/4/44/DataScienceDisciplines.png K-Means http://commons.wikimedia.org/wiki/File:K_Means_Example_Step_1.svg und folgende 45