Einführung Datenanalyse mit Pandas [data2day]
•
0 gefällt mir•1,180 views
Die Open-Source-Bibliothek Pandas ist das Schweizer Taschenmesser im Bereich Datenanalyse in Python ohne die Performance Nachteile interpretierter Sprachen. Sie punktet mit: * Hochperformance-Verarbeitungen großer Datenmengen dank Numpy, * Verarbeitung gängiger Datenformate (CSV, Excel, HDF, SQL, JSON, HTML ...), und * direktem Zugriff auf Visualisierung, Aggregationen und Statistikfunktionen. Der Talk gibt eine Einführung in Pandas insbesondere mit Blick auf DataSeries, DataFrames, Zeitreihenanalyse und zeigt anhand von Beispielen, wie man effizient und schnell mit Pandas tiefen Einblick in seine Daten bekommen kann.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie Einführung Datenanalyse mit Pandas [data2day]
Ähnlich wie Einführung Datenanalyse mit Pandas [data2day] (20)
Mehr von Alexander Hendorf
Mehr von Alexander Hendorf (12)
Einführung Datenanalyse mit Pandas [data2day]
- 1. Einführung Datenanalyse mit Pandas Alexander C. S. Hendorf @hendorf Karlsruhe, Germany
- 2. Alexander C. S. Hendorf Königsweg GmbH Königsweg verbindet High-Tech Startups und die Industrie EuroPython Organisator + Programm Chair mongoDB master 2016, MUG Leader Speaker mongoDB days, EuroPython, PyData… @hendorf
- 4. Herkunft und Ziele -Open Source Python Library -Praktische 'real-world'-Datenanalyse - schnell, effizient & einfach -Lückenloser Datenanalyse Workflow (ohne Wechsel in z.B R) -2008 begonnen von Wes McKinney, nun PyData Stack bei Continuum Analytics ("Anaconda") -Stabiles Projekt mit regelmäßigen Updates -https://github.com/pydata/pandas
- 5. Haupt-Funktionalitäten -Datenaustausch via CSV, Excel, JSON, SQL, SAS, clipboard, HDF5,… -Datenbereinigung -Daten umformen, zusammenführen (joins & merge) & pivoting -Daten Visualisierung -Integration in Jupiter (iPython) Notebooks -Datenbank-ähnliche Operationen -Performant
- 6. Heute Teil 1: Grundfunktionalitäten von Pandas Teil 2: Zeitreihen-Analyse mit Pandas Git mit allen Code-Beispielen unter: https://github.com/Koenigsweg/data2day-2016.git
- 9. Re: I/O und Anzeige -Konvention import pandas as pd -Beispiel pd.read_csv() -Hohe Anpassungsfähigkeit mittels über 40 optionalen Parametern (delimiter, header, dtype, parse_dates,…) -Datenvorschau mit .head(Zeilen) und .tail(Zeilen)
- 11. ax = df[:100].plot() ax.axhline(16, color='r', linestyle='-') df.plot(kind='bar')
- 13. Visualisieren -matplotlib (http://matplotlib.org) integriert, .plot() -anpass- und erweiterbar, plot() gibt ax zurück -Balken- (bar), Flächen- (area), Scatter-, Boxplots u.a. -Modernere Alternativen: Bokeh (http://bokeh.pydata.org/en/latest/) Seaborn (https://stanford.edu/~mwaskom/software/seaborn/index.html)
- 15. Aufbau / Struktur: DataSeries -eindimensionale, bezeichnete Reihe, die jeden Datentyp enthalten kann -Die Bezeichnung der Reihe heißt hier idR index -automatische Erstellung von index, wenn nicht vorhanden -Ein Daten Typ (nicht gemischt), aber dynamische Zuweisung/Umwandlung wie in Python üblich bzw. auch explizit setzbar
- 20. Auswahl -Slicing -Boolean Indexing series[x], series[[x, y]] series[2], series[[2, 3]], series[2:3] series.ix() / .iloc() / .loc() series.sample()
- 21. Aufbau / Struktur: DataFrame -zweidimensionale, bezeichnete Daten Struktur z.B. aus -DataSeries -2-D numpy.ndarray -anderen DataFrames -automatische Erstellung von index, wenn nicht vorhanden
- 22. Aufbau / Struktur Index -Index -automatisch, wenn keine Vorgabe (Position) -kann nachträglich ge- oder ersetzt werden -Typen: Position, Zeitstempel, Zeitbereiche, Labels,… -eine oder mehrere Dimensionen -darf Wert mehrfach enthalten (NOT UNIQUE!)
- 23. Praxisbeispiele -Mit Series arbeiten / rechnen -neue Series erstelle und hinzufügen -mit null Werten arbeiten / entfernen -direkte Methodenaufrufe Series/ DataFrames
- 29. Series/DataFrames verändern -Funktionen werden nicht auf Series oder DataFrame angewendet, sondern geben nur das Ergebnis als S/DF zurück -mit Parameter inplace können Änderungen auf der Serie / DataFrame direkt angewendet werden
- 32. NaN Werte & Entfernen -NaN wird für null Werte verwendet -series.describe() ignoriert NaN -NaNs: -entfernen drop() -ersetzen mit Standardwerten - forward- oder backwards-fill, interpolieren - Series können ebenfalls mit drop() aus dem DF entfernt werden
- 33. Daten Aggregation -describe() -groupby() -groupby([]) & unstack() -mean(), sum(), median(),…
- 34. Ende Teil 1 -DataSeries & DataFrame -I/O -Einfache Datenanalyse & Aggregation -Indexe -Visualisierung -Interaktion
- 36. Jahr 12 Monate Februar 90% von März 31 31 31 31 31 31 31 30 30 30 30 28
- 38. Zeitreihen -TimeSeriesIndex -pd.to_datetime() ! US datumsfreundlich -Datenaggregation Beispiele
- 53. Resampling -H hourly frequency -T minutely frequency -S secondly frequency -L milliseonds -U microseconds -N nanoseconds -D calendar day frequency -W weekly frequency -M month end frequency -Q quarter end frequency -A year end frequency - B business day frequency - C custom business day frequency (experimental) - BM business month end frequency - CBM custom business month end frequency - MS month start frequency - BMS business month start frequency - CBMS custom business month start frequency - BQ business quarter endfrequency - QS quarter start frequency - BQS business quarter start frequency - BA business year end frequency - AS year start frequency - BAS business year start frequency - BH business hour frequency
- 60. Bonus: statsmodels is a Python module that allows users to explore data, estimate statistical models, and perform statistical tests
- 64. Alexander C. S. Hendorf ah@koenigsweg.com @hendorf Code-Beispiele https://github.com/Koenigsweg/data2day-2016.git