1. Street Fighting Data Science
von
@furukama (Benedikt Köhler, d.core)
@jbenno (Jörg Blumtritt, Datarella)
#rp13

2. Street Fighting Data Science
• Umnutzen vorhandener
Daten (Tweets -> Bewe-
gungsgeschwindigkeit)
• Umwidmen von
Methoden (BioTech ->
Sozialwissenschaften)
• Agile Ad-hoc-Analysen
• Improvisation
http://en.wikipedia.org/wiki/File:Fightingmanstones.jpg

3. Wir glauben an Gauß!

4. Data Science
http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram

5. Data Scientists?
http://www.forbes.com/sites/danwoods/2012/03/08/hilary-mason-what-is-a-data-scientist/

6. Data Science 101
• Crawling / Scraping
• APIs
• Datenbanken, Hadoop, Stream Processing
• „Data Munging“: Bereinigen / Formatieren / Konvertieren
• Machine Learning (Python Scikit-Learn / NumPy, SciPy, R,
Mahout)
• Textanalyse (NLTK, R)
• Network Analysis (Gephi, NodeXL)
• Statistik (R, Python)

7. N-Gramme
• N-Gramme zerlegen Texte in kleinere Fragmente. 1-
Gramm = „Street“, 2-Gramm = „Street Fighter“ ->
Google Corpus 2006/12
Google Ngram Viewer http://books.google.com/ngrams + DB http://books.google.com/ngrams/datasets

8. WordNet
• WordNet:
semantische
und lexikalische
Bedeutung von
Wörtern
• Daraus z.B.
Wörter mit
Stimmungen
identifizierbar
(WN Affect)
WordNet http://wordnet.princeton.edu/ WordNet Affect http://wndomains.fbk.eu/wnaffect.html

9. N-Gramme + WordNet
• Emotionen im Zeitverlauf
Acerbi et al 2013 http://www.plosone.org/article/info:doi/10.1371/journal.pone.0059030

10. Food Pairings
Ahn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html

11. Food Pairings
Ahn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html

12. Food Pairings
Ahn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html

13. Flickr für Touristen
Eric Fischer „See something or say something“http://www.flickr.com/photos/walkingsf/5935471000/in/set-
72157627140310742 and „Locals and Tourists“http://www.flickr.com/photos/walkingsf/4671578001/in/set-
72157624209158632

14. Farbgeschichte mit Flickr
http://beautifuldata.net/2013/05/color-analysis-of-flickr-images/

15. Sandy: Meteorologie für alle
http://rpubs.com/JoFrhwld/sandy

16. Windmap
US Wind Patterns www.senchalabs.org/philogl/PhiloGL/examples/winds/

17. Google Correlate
Google Correlate www.google.com/trends/correlate

18. NodeXL – Twitter-Netzwerk #rp13
NodeXL http://nodexl.codeplex.com/

19. Netvizz – Facebook-Daten
NetVizz https://apps.facebook.com/netvizz/

20. Gephi – Visualisierungstool
Gephi http://gephi.org

21. Das Ergebnis
Facebook-Netzwerk von https://www.facebook.com/benediktkoehler

22. Twitter - Bewegungsdaten
Eric Fischer: Travel Patterns http://www.flickr.com/photos/walkingsf/6794335193

23. Der Passive Wahlomat
Piraten 0,14108935
Gruene 0,12956345
SPD 0,08088609
CDU 0,06258422
Linke 0,09733024
FDP 0,04376875
http://blog.metaroll.de/2012/03/23/der-passive-wahlomat-textmining-mit-politischen-programmen-und-
konversationen-teil-1/

24. Funnel Plots
http://www.cochrane-net.org/openlearning/html/mod15-3.htm

25. Web-Crawler
• HTTrack Website Copier etc.
• Simple Web Crawler in Python etc.

26. Crunchbase VC-Netzwerke
Big Data Investment Map http://beautifuldata.net/2012/02/big-data-investment-map/

27. Danke!
http://beautifuldata.net