22.10.2013

BigData und BigQuery
Siegfried Stepke & Lukas Wojcik, e-dialog

Google bietet eine Schnittstelle von Analytics...
22.10.2013

Big data is like teenage sex:
everyone talks about it,
nobody really know how to do it,
everyone thinks everyo...
22.10.2013

Unter uns gesagt:

Big Data ist eine willkommene Ausrede,
bisherige Versäumnisse in der DatenAnalyse aufzuhole...
22.10.2013

Use Cases
• Besucherverhalten in sehr langen Zeiträumen
analysieren:
– „Welche Website Bereiche hatten die höc...
22.10.2013

Use Cases
• Komplexe Anreicherung
– Wetter Daten nach Datum und Region
– Geographische Informationen wie
• Dur...
22.10.2013

Was ist Google BigQuery?
• Ein Web Service, das interaktive Analysen an
riesigen Datensets bis zu Milliarden R...
22.10.2013

Um Redundanz zu vermeiden, sollten Tabellen
verschachtelt (nested)
erstellt werden:
Denormalisiert

Verschacht...
22.10.2013

Datenimport
• Optionen:
•
•

Direkt Upload (Browser Tool)
API
•

•
•

Streaming

Google Cloud Storage
Google A...
22.10.2013

Datenimport
API JSON Limits
•
•

Maximale Zeilenlänge:
Maximale Dateigröße beim Upload:
• Komprimiert:
• Unkom...
22.10.2013

Schnittstelle
•
•
•
•

Täglicher Upload der gesammelten Daten
(unsampled)
Auf Session-Level inklusive aller Se...
22.10.2013

Datenimport
Import aus Google Analytics per CSV

4. Neues Dataset

6. CSV Datei
auswählen
5. Create and Import...
22.10.2013

ABFRAGEN UND REPORTING

Abfragen und Reporting
• Browser-Tool
• Command Line Interface
• API
– Selbst programm...
22.10.2013

Demo

13
22.10.2013

Das Produkt
•

•
•

•

Analyse riesiger Datenmengen ohne ein Datenzentrum zu
betreiben.
Jederzeit kündbar.
Jed...
22.10.2013

BigQuery Preise
• On-Demand
•
•
•
•

Speicherplatz

100GB gratis
$80 (per TB/Monat)
Interaktive Abfragen $35 (...
22.10.2013

Premium only
• Sprechen Sie mit uns, wenn für Sie relevant!
• e-dialog ist

Vielen Dank!

16
22.10.2013

Voraussetzungen
•
•

Google Account anlegen
Billing im API Center aktivieren:
•

•

https://code.google.com/ap...
22.10.2013

Google API’s Rechtevergaben

18
Nächste SlideShare
Wird geladen in …5
×

Google Analytics Konferenz 2013: S. Stepke & L. Wojcik, e-dialog: Big Data

2.719 Aufrufe

Veröffentlicht am

Die 3. Google Analytics Konferenz D-A-CH fand vom 7. bis 9. Oktober 2013 im Schloß Schönbrunn in Wien statt.

International renommierte Webanalyse-Experten präsentierten an drei Tagen aktuelle Themen rund um Google Analytics.

Alle weiteren Veranstaltungen, e-Books und Informationen rund um Webanalyse, Conversion-Optimierung und Search sind auf http://www.e-dialog.at zu finden.

Veröffentlicht in: News & Politik
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
2.719
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
1
Aktionen
Geteilt
0
Downloads
40
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Google Analytics Konferenz 2013: S. Stepke & L. Wojcik, e-dialog: Big Data

  1. 1. 22.10.2013 BigData und BigQuery Siegfried Stepke & Lukas Wojcik, e-dialog Google bietet eine Schnittstelle von Analytics zu BigQuery, seiner Big Data Engine. Was kann das bringen? WAS IST EIGENTLICH BIG DATA? 1
  2. 2. 22.10.2013 Big data is like teenage sex: everyone talks about it, nobody really know how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it… • Was ist BigData? 2
  3. 3. 22.10.2013 Unter uns gesagt: Big Data ist eine willkommene Ausrede, bisherige Versäumnisse in der DatenAnalyse aufzuholen. Voraussetzungen: • Ziele - Business Objectives • Datenqualität Dann reicht oft schon „small data“ Warum also? • • • • Große Datenmengen strukturiert untersuchen Abfolgen erkennen Anreichern Mit Rohdaten arbeiten 3
  4. 4. 22.10.2013 Use Cases • Besucherverhalten in sehr langen Zeiträumen analysieren: – „Welche Website Bereiche hatten die höchste Volatilität in der Absprungrate zwischen 2010 und 2013?“ • Komplexe Flows untersuchen: – “Aus welchen Quellen kamen User, die im CheckoutProzess ausstiegen um innerhalb von 10 Minuten mit einem Voucher-Code den Prozess abzuschließen? Welche Codes waren das?” Use Cases • Daten anreichern und abfragen: – z.B. Autoren-Details: “Zeig mir die Engagement-Rate meiner Top-100 Autoren nach Channel in 2012” – Z.B. nachträglich Produkt-Attribute dazuladen: “Zeig mir alle Warenkörbe, die rote Produkte enthielten im Vergleich zu Produkten aus Leder” • Data-Warehouse Integration: – “Mache eine wöchentliche Auswertung der eingeloggten User, schreibe die Top-5 angesehenen aber nicht gekauften Produkte in unser CRM.” 4
  5. 5. 22.10.2013 Use Cases • Komplexe Anreicherung – Wetter Daten nach Datum und Region – Geographische Informationen wie • Durchschnittliche Haushaltseinkommen • Einwohnerdichte • … GOOGLE‘S BIGQUERY 5
  6. 6. 22.10.2013 Was ist Google BigQuery? • Ein Web Service, das interaktive Analysen an riesigen Datensets bis zu Milliarden Rows ermöglicht. Google BigQuery empfiehlt Tabellen nicht relational aufzubauen, sondern denormalisiert Relational Denormalisiert 6
  7. 7. 22.10.2013 Um Redundanz zu vermeiden, sollten Tabellen verschachtelt (nested) erstellt werden: Denormalisiert Verschachtelt SQL-Like Queries; Nur Abfragen (kein INSERT und kein UPDATE) 7
  8. 8. 22.10.2013 Datenimport • Optionen: • • Direkt Upload (Browser Tool) API • • • Streaming Google Cloud Storage Google Analytics Premium Datenimport API CSV Limits • • Maximale Zeilen & Spaltenlänge: Maximale Dateigröße beim Upload: • Komprimiert: • Unkomprimiert, mit Zeilenumbrüchen: • Unkomprimiert, ohne Zeilenumbrüche: 1 MB 1 GB 4 GB 1 TB 8
  9. 9. 22.10.2013 Datenimport API JSON Limits • • Maximale Zeilenlänge: Maximale Dateigröße beim Upload: • Komprimiert: • Unkomprimiert: 20 MB 1 GB 1 TB Datenimport API • Verschiedene fertige Libraries für • • • • • • • • .NET Java PHP JavaScript Python Ruby etc… Daten Live Streamen möglich 9
  10. 10. 22.10.2013 Schnittstelle • • • • Täglicher Upload der gesammelten Daten (unsampled) Auf Session-Level inklusive aller Session-Hits(!!!) nested inklusive Timestamps. Jede Session ist eine Zeile. D.h. wir haben es ab nun erstmals in GA mit Rohdaten zu tun, die uns zur Verfügung stehen! Ermöglicht damit vorige Use-Cases und z.B. TVTracking! Import aus Google Analytics per CSV Nur aggregierte, gesampelte Daten mit eingeschränkten Attributen… 1. Google Analytics Report öffnen 2. Höchstmögliche Anzahl Zeilen auswählen: 3. CSV Datei exportieren: 10
  11. 11. 22.10.2013 Datenimport Import aus Google Analytics per CSV 4. Neues Dataset 6. CSV Datei auswählen 5. Create and Import Oder über die APIs automatisiert… Vergleich • Rohdaten • Un-sampelt • Abfolgen innerhalb von Sessions verfügbar • Alle Attribute denormalisiert verfügbar • Aggregierte Daten • Gesampelte Daten • • Dimensionen können nur soweit es die API im Export erlaubt gemeinsam ausgewertet werden 11
  12. 12. 22.10.2013 ABFRAGEN UND REPORTING Abfragen und Reporting • Browser-Tool • Command Line Interface • API – Selbst programmiert – Von Google • XLS Connector • Fusion Tables – Third Party… 12
  13. 13. 22.10.2013 Demo 13
  14. 14. 22.10.2013 Das Produkt • • • • Analyse riesiger Datenmengen ohne ein Datenzentrum zu betreiben. Jederzeit kündbar. Jederzeit eigene Daten löschen. 2 Preiskomponenten: • • Ausgeführte Abfragen Belegter Speicherplatz 14
  15. 15. 22.10.2013 BigQuery Preise • On-Demand • • • • Speicherplatz 100GB gratis $80 (per TB/Monat) Interaktive Abfragen $35 (per durchlaufenen TB) Batch Abfragen $20 (per durchlaufenen TB) Inserts streamen Kostenlos bis 01.01.2014 (danach $0.01 per 10.000 eingefügte Zeilen) BigQuery Preise • Paketpreise • • • • 100 TB 400 TB 1.500 TB 4.000 TB $3.300 / Monat ($33 per TB) $12.000 / Monat ($30 per TB) $40.500 / Monat ($27 per TB) $100.000 / Monat ($25 per TB) (On Demand: $80 per TB) 15
  16. 16. 22.10.2013 Premium only • Sprechen Sie mit uns, wenn für Sie relevant! • e-dialog ist Vielen Dank! 16
  17. 17. 22.10.2013 Voraussetzungen • • Google Account anlegen Billing im API Center aktivieren: • • https://code.google.com/apis/console/ Neues Dataset in BigQuery anlegen: • https://bigquery.cloud.google.com API Center 17
  18. 18. 22.10.2013 Google API’s Rechtevergaben 18

×