Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
22.10.2013

BigData und BigQuery
Siegfried Stepke & Lukas Wojcik, e-dialog

Google bietet eine Schnittstelle von Analytics...
22.10.2013

Big data is like teenage sex:
everyone talks about it,
nobody really know how to do it,
everyone thinks everyo...
22.10.2013

Unter uns gesagt:

Big Data ist eine willkommene Ausrede,
bisherige Versäumnisse in der DatenAnalyse aufzuhole...
22.10.2013

Use Cases
• Besucherverhalten in sehr langen Zeiträumen
analysieren:
– „Welche Website Bereiche hatten die höc...
22.10.2013

Use Cases
• Komplexe Anreicherung
– Wetter Daten nach Datum und Region
– Geographische Informationen wie
• Dur...
22.10.2013

Was ist Google BigQuery?
• Ein Web Service, das interaktive Analysen an
riesigen Datensets bis zu Milliarden R...
22.10.2013

Um Redundanz zu vermeiden, sollten Tabellen
verschachtelt (nested)
erstellt werden:
Denormalisiert

Verschacht...
22.10.2013

Datenimport
• Optionen:
•
•

Direkt Upload (Browser Tool)
API
•

•
•

Streaming

Google Cloud Storage
Google A...
22.10.2013

Datenimport
API JSON Limits
•
•

Maximale Zeilenlänge:
Maximale Dateigröße beim Upload:
• Komprimiert:
• Unkom...
22.10.2013

Schnittstelle
•
•
•
•

Täglicher Upload der gesammelten Daten
(unsampled)
Auf Session-Level inklusive aller Se...
22.10.2013

Datenimport
Import aus Google Analytics per CSV

4. Neues Dataset

6. CSV Datei
auswählen
5. Create and Import...
22.10.2013

ABFRAGEN UND REPORTING

Abfragen und Reporting
• Browser-Tool
• Command Line Interface
• API
– Selbst programm...
22.10.2013

Demo

13
22.10.2013

Das Produkt
•

•
•

•

Analyse riesiger Datenmengen ohne ein Datenzentrum zu
betreiben.
Jederzeit kündbar.
Jed...
22.10.2013

BigQuery Preise
• On-Demand
•
•
•
•

Speicherplatz

100GB gratis
$80 (per TB/Monat)
Interaktive Abfragen $35 (...
22.10.2013

Premium only
• Sprechen Sie mit uns, wenn für Sie relevant!
• e-dialog ist

Vielen Dank!

16
22.10.2013

Voraussetzungen
•
•

Google Account anlegen
Billing im API Center aktivieren:
•

•

https://code.google.com/ap...
22.10.2013

Google API’s Rechtevergaben

18
Nächste SlideShare
Wird geladen in …5
×

Google Analytics Konferenz 2013: S. Stepke & L. Wojcik, e-dialog: Big Data

2.781 Aufrufe

Veröffentlicht am

Die 3. Google Analytics Konferenz D-A-CH fand vom 7. bis 9. Oktober 2013 im Schloß Schönbrunn in Wien statt.

International renommierte Webanalyse-Experten präsentierten an drei Tagen aktuelle Themen rund um Google Analytics.

Alle weiteren Veranstaltungen, e-Books und Informationen rund um Webanalyse, Conversion-Optimierung und Search sind auf http://www.e-dialog.at zu finden.

Veröffentlicht in: News & Politik
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Google Analytics Konferenz 2013: S. Stepke & L. Wojcik, e-dialog: Big Data

  1. 1. 22.10.2013 BigData und BigQuery Siegfried Stepke & Lukas Wojcik, e-dialog Google bietet eine Schnittstelle von Analytics zu BigQuery, seiner Big Data Engine. Was kann das bringen? WAS IST EIGENTLICH BIG DATA? 1
  2. 2. 22.10.2013 Big data is like teenage sex: everyone talks about it, nobody really know how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it… • Was ist BigData? 2
  3. 3. 22.10.2013 Unter uns gesagt: Big Data ist eine willkommene Ausrede, bisherige Versäumnisse in der DatenAnalyse aufzuholen. Voraussetzungen: • Ziele - Business Objectives • Datenqualität Dann reicht oft schon „small data“ Warum also? • • • • Große Datenmengen strukturiert untersuchen Abfolgen erkennen Anreichern Mit Rohdaten arbeiten 3
  4. 4. 22.10.2013 Use Cases • Besucherverhalten in sehr langen Zeiträumen analysieren: – „Welche Website Bereiche hatten die höchste Volatilität in der Absprungrate zwischen 2010 und 2013?“ • Komplexe Flows untersuchen: – “Aus welchen Quellen kamen User, die im CheckoutProzess ausstiegen um innerhalb von 10 Minuten mit einem Voucher-Code den Prozess abzuschließen? Welche Codes waren das?” Use Cases • Daten anreichern und abfragen: – z.B. Autoren-Details: “Zeig mir die Engagement-Rate meiner Top-100 Autoren nach Channel in 2012” – Z.B. nachträglich Produkt-Attribute dazuladen: “Zeig mir alle Warenkörbe, die rote Produkte enthielten im Vergleich zu Produkten aus Leder” • Data-Warehouse Integration: – “Mache eine wöchentliche Auswertung der eingeloggten User, schreibe die Top-5 angesehenen aber nicht gekauften Produkte in unser CRM.” 4
  5. 5. 22.10.2013 Use Cases • Komplexe Anreicherung – Wetter Daten nach Datum und Region – Geographische Informationen wie • Durchschnittliche Haushaltseinkommen • Einwohnerdichte • … GOOGLE‘S BIGQUERY 5
  6. 6. 22.10.2013 Was ist Google BigQuery? • Ein Web Service, das interaktive Analysen an riesigen Datensets bis zu Milliarden Rows ermöglicht. Google BigQuery empfiehlt Tabellen nicht relational aufzubauen, sondern denormalisiert Relational Denormalisiert 6
  7. 7. 22.10.2013 Um Redundanz zu vermeiden, sollten Tabellen verschachtelt (nested) erstellt werden: Denormalisiert Verschachtelt SQL-Like Queries; Nur Abfragen (kein INSERT und kein UPDATE) 7
  8. 8. 22.10.2013 Datenimport • Optionen: • • Direkt Upload (Browser Tool) API • • • Streaming Google Cloud Storage Google Analytics Premium Datenimport API CSV Limits • • Maximale Zeilen & Spaltenlänge: Maximale Dateigröße beim Upload: • Komprimiert: • Unkomprimiert, mit Zeilenumbrüchen: • Unkomprimiert, ohne Zeilenumbrüche: 1 MB 1 GB 4 GB 1 TB 8
  9. 9. 22.10.2013 Datenimport API JSON Limits • • Maximale Zeilenlänge: Maximale Dateigröße beim Upload: • Komprimiert: • Unkomprimiert: 20 MB 1 GB 1 TB Datenimport API • Verschiedene fertige Libraries für • • • • • • • • .NET Java PHP JavaScript Python Ruby etc… Daten Live Streamen möglich 9
  10. 10. 22.10.2013 Schnittstelle • • • • Täglicher Upload der gesammelten Daten (unsampled) Auf Session-Level inklusive aller Session-Hits(!!!) nested inklusive Timestamps. Jede Session ist eine Zeile. D.h. wir haben es ab nun erstmals in GA mit Rohdaten zu tun, die uns zur Verfügung stehen! Ermöglicht damit vorige Use-Cases und z.B. TVTracking! Import aus Google Analytics per CSV Nur aggregierte, gesampelte Daten mit eingeschränkten Attributen… 1. Google Analytics Report öffnen 2. Höchstmögliche Anzahl Zeilen auswählen: 3. CSV Datei exportieren: 10
  11. 11. 22.10.2013 Datenimport Import aus Google Analytics per CSV 4. Neues Dataset 6. CSV Datei auswählen 5. Create and Import Oder über die APIs automatisiert… Vergleich • Rohdaten • Un-sampelt • Abfolgen innerhalb von Sessions verfügbar • Alle Attribute denormalisiert verfügbar • Aggregierte Daten • Gesampelte Daten • • Dimensionen können nur soweit es die API im Export erlaubt gemeinsam ausgewertet werden 11
  12. 12. 22.10.2013 ABFRAGEN UND REPORTING Abfragen und Reporting • Browser-Tool • Command Line Interface • API – Selbst programmiert – Von Google • XLS Connector • Fusion Tables – Third Party… 12
  13. 13. 22.10.2013 Demo 13
  14. 14. 22.10.2013 Das Produkt • • • • Analyse riesiger Datenmengen ohne ein Datenzentrum zu betreiben. Jederzeit kündbar. Jederzeit eigene Daten löschen. 2 Preiskomponenten: • • Ausgeführte Abfragen Belegter Speicherplatz 14
  15. 15. 22.10.2013 BigQuery Preise • On-Demand • • • • Speicherplatz 100GB gratis $80 (per TB/Monat) Interaktive Abfragen $35 (per durchlaufenen TB) Batch Abfragen $20 (per durchlaufenen TB) Inserts streamen Kostenlos bis 01.01.2014 (danach $0.01 per 10.000 eingefügte Zeilen) BigQuery Preise • Paketpreise • • • • 100 TB 400 TB 1.500 TB 4.000 TB $3.300 / Monat ($33 per TB) $12.000 / Monat ($30 per TB) $40.500 / Monat ($27 per TB) $100.000 / Monat ($25 per TB) (On Demand: $80 per TB) 15
  16. 16. 22.10.2013 Premium only • Sprechen Sie mit uns, wenn für Sie relevant! • e-dialog ist Vielen Dank! 16
  17. 17. 22.10.2013 Voraussetzungen • • Google Account anlegen Billing im API Center aktivieren: • • https://code.google.com/apis/console/ Neues Dataset in BigQuery anlegen: • https://bigquery.cloud.google.com API Center 17
  18. 18. 22.10.2013 Google API’s Rechtevergaben 18

×