//Rebuild
Hätte ich auf der Titanic überlebt?
BigData Analysis End-To-End
Olivia Klose
Technical Evangelist, Microsoft
@ol...
Sammeln
Analysieren
Konsumieren
Speichern
Was war? Was ist? Was wird?
Advanced Analytics – Beyond BI
What
happened?
Why did
it happen?
What will
happen?
How can we
make it happen?
Traditional ...
Was war? Was ist? Was wird?
Sensordaten im Geschäft
Sensordaten im Geschäft
ID Kunden ID Interaktionsdaten x- & y-Koordinaten
Product ID
Sensordaten im Geschäft
Display ID Display Name x-Koordinaten y-Koordinaten
Was sind die 5 beliebtesten Produkte?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
Produkte
Was sind die 5 beliebtesten Produkte?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
Produkte
Join
Nach Beliebtheit...
Hadoop
HDInsight
HDInsight
Azure Management Portal
http://manage.windowsazure.com
HDInsight
HDInsight
HDInsight
Was sind die 5 beliebtesten Produkte?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables Nach Bel...
Orchestrieren?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables Nach Beliebtheit sortieren
Orchestrieren?
Azure Data Factory
C#
MapReduce
Hive
Pig
Stored Procedures
Azure Data Factory
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables Nach Beliebtheit sortieren
Azure Data Factory
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables
Nach Beliebtheit sortieren
In SQL DB
kopieren
...
Datasets
Pipelines
Pipeline #1
Pipeline #1
Pipeline #1
Pipeline #1
Linked Services
Linked Service #1
Linked Service #2
Linked Service #3
Pipeline #2
Und was kam raus?
Sammeln
Speichern
Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Dashboard
Data Factory HDInsi...
Was war? Was ist? Was wird?
Echtzeitdaten von Geschäften
Azure Stream Analytics
Azure SQL DB
Azure Event Hubs
Azure Tables
Azure Blob Storage
Azure Blob
Storage
Azure
Event Hubs
R...
Azure Stream Analytics – Query
Azure Stream Analytics – Query
Azure Stream Analytics – Query
Azure Stream Analytics – Query
Zeitfenster von 1 Sekunde, um halbe Sekunde versetzt
Azure Stream Analytics – Zeitfenster
Tumbling Window Hopping Window
Sliding Window
Azure Stream Analytics
Beliebte Produkte? In Echtzeit.
Wann, was,
wieviele
Sensordaten Event-Hub
Stream
Analytics
Dashboard
Gespeichert in SQL DB
Speichern
Sammeln Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Dashboard
Data Factory HDInsi...
Was war? Was ist? Was wird?
Was ist Machine Learning?
“The goal of machine learning is
to program computers to use
example data or past experience
to ...
Machine Learning – Warum?
1.Zu komplex:
Man kann es nicht programmieren.
(z.B. Natural Language Processing, Handschrifterk...
Azure Machine Learning
Machine Learning für alle
Unternehmen, Data Scientists,
Entwickler, Analysten und Nutzer
überall au...
Azure Machine Learning
HDInsight
SQL Server VM
SQL DB
Blobs & Tabellen
Cloud
Desktopdateien
Exceltabelle
Andere…
Lokal
ML
...
Azure Machine Learning
Speichern
Sammeln Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Data Factory HDInsight Machin...
Wrap Up
Was haben wir gemacht?
Was war? Was ist? Was wird?
Speichern
Sammeln Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Dashboard
Data Factory HDInsi...
Machine Learning
Muss ich jetzt
Machine Learning lernen?
Azure Marketplace – Empfehlungsdienst
Build
Was ist neu?
Azure Data Lake
http://azure.com/datalake
Machine Learning API
http://gallery.azureml.net
Project Oxford
http://projectoxford.ai
Kostenloses E-Book
http://aka.ms/MLbook
Blog-Serie zu Machine Learning
http://aka.ms/MLSerie
Kostenlose Video-Serie zu Azure ML
http://aka.ms/AzureML-MVA
Weitere Informationen
http://aka.ms/startHDInsight
http://aka.ms/MVABigData
http://aka.ms/startADF
http://aka.ms/startASA
...
http://aka.ms/TechWiese
Danke! 
aka.ms/azurenow
oliviaklose.com
@oliviaklose
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Nächste SlideShare
Wird geladen in …5
×

Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End

1.428 Aufrufe

Veröffentlicht am

Predictive Analytics oder Data Science sind in einer Zeit, in der die Menge an Daten stetig zunimmt, wertvolle Hilfsmittel. Die Einsatzbereiche sind vielfältig und reichen von der Vorhersage von Fußballergebnissen über persönliche Kaufempfehlungen in Online-Shops bis zum Ergreifen präventiver Wartungsmaßnahmen in der industriellen Produktion.

In diesem Vortrag werden verschiedene Dienste der Azure-Datenplattform vorgestellt, mit denen aus der Datenflut hilfreiche Erkenntnisse gewonnen werden können.

Veröffentlicht in: Daten & Analysen
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.428
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
445
Aktionen
Geteilt
0
Downloads
5
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End

  1. 1. //Rebuild Hätte ich auf der Titanic überlebt? BigData Analysis End-To-End Olivia Klose Technical Evangelist, Microsoft @oliviaklose
  2. 2. Sammeln Analysieren Konsumieren Speichern
  3. 3. Was war? Was ist? Was wird?
  4. 4. Advanced Analytics – Beyond BI What happened? Why did it happen? What will happen? How can we make it happen? Traditional BI Advanced Analytics
  5. 5. Was war? Was ist? Was wird?
  6. 6. Sensordaten im Geschäft
  7. 7. Sensordaten im Geschäft ID Kunden ID Interaktionsdaten x- & y-Koordinaten Product ID
  8. 8. Sensordaten im Geschäft Display ID Display Name x-Koordinaten y-Koordinaten
  9. 9. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte
  10. 10. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte Join Nach Beliebtheit sortieren
  11. 11. Hadoop
  12. 12. HDInsight
  13. 13. HDInsight
  14. 14. Azure Management Portal http://manage.windowsazure.com
  15. 15. HDInsight
  16. 16. HDInsight
  17. 17. HDInsight
  18. 18. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren
  19. 19. Orchestrieren? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren
  20. 20. Orchestrieren? Azure Data Factory C# MapReduce Hive Pig Stored Procedures
  21. 21. Azure Data Factory
  22. 22. Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren Azure Data Factory
  23. 23. Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren In SQL DB kopieren Azure Data Factory
  24. 24. Datasets
  25. 25. Pipelines
  26. 26. Pipeline #1
  27. 27. Pipeline #1
  28. 28. Pipeline #1
  29. 29. Pipeline #1
  30. 30. Linked Services
  31. 31. Linked Service #1
  32. 32. Linked Service #2
  33. 33. Linked Service #3
  34. 34. Pipeline #2
  35. 35. Und was kam raus?
  36. 36. Sammeln Speichern Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
  37. 37. Was war? Was ist? Was wird?
  38. 38. Echtzeitdaten von Geschäften
  39. 39. Azure Stream Analytics Azure SQL DB Azure Event Hubs Azure Tables Azure Blob Storage Azure Blob Storage Azure Event Hubs Reference Data Query runs continuously against incoming streams of events Events Optionally, have a defined schema and are temporal (sequenced in time)
  40. 40. Azure Stream Analytics – Query
  41. 41. Azure Stream Analytics – Query
  42. 42. Azure Stream Analytics – Query
  43. 43. Azure Stream Analytics – Query Zeitfenster von 1 Sekunde, um halbe Sekunde versetzt
  44. 44. Azure Stream Analytics – Zeitfenster Tumbling Window Hopping Window Sliding Window
  45. 45. Azure Stream Analytics
  46. 46. Beliebte Produkte? In Echtzeit. Wann, was, wieviele Sensordaten Event-Hub Stream Analytics Dashboard
  47. 47. Gespeichert in SQL DB
  48. 48. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
  49. 49. Was war? Was ist? Was wird?
  50. 50. Was ist Machine Learning? “The goal of machine learning is to program computers to use example data or past experience to solve a given problem.” Introduction to Machine Learning, 2nd Edition, MIT Press
  51. 51. Machine Learning – Warum? 1.Zu komplex: Man kann es nicht programmieren. (z.B. Natural Language Processing, Handschrifterkennung, Computer Vision,…) 2.Zu viel: Man kann es nicht skalieren. (z.B. Spam & Betrugsaufdeckung, Medizin) 3.Zu speziell: Man will personalisierte Programme schreiben. (z.B. Amazon, Netflix) 4.Autonomes Lernen (z.B. Robotik)
  52. 52. Azure Machine Learning Machine Learning für alle Unternehmen, Data Scientists, Entwickler, Analysten und Nutzer überall auf der Welt zugänglich machen
  53. 53. Azure Machine Learning HDInsight SQL Server VM SQL DB Blobs & Tabellen Cloud Desktopdateien Exceltabelle Andere… Lokal ML Studio IDE für ML Web Service M Monetarisieren Speicherkonto
  54. 54. Azure Machine Learning
  55. 55. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Data Factory HDInsight Machine Learning Cortana Dashboard
  56. 56. Wrap Up Was haben wir gemacht?
  57. 57. Was war? Was ist? Was wird?
  58. 58. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
  59. 59. Machine Learning Muss ich jetzt Machine Learning lernen?
  60. 60. Azure Marketplace – Empfehlungsdienst
  61. 61. Build Was ist neu?
  62. 62. Azure Data Lake http://azure.com/datalake
  63. 63. Machine Learning API http://gallery.azureml.net
  64. 64. Project Oxford http://projectoxford.ai
  65. 65. Kostenloses E-Book http://aka.ms/MLbook
  66. 66. Blog-Serie zu Machine Learning http://aka.ms/MLSerie
  67. 67. Kostenlose Video-Serie zu Azure ML http://aka.ms/AzureML-MVA
  68. 68. Weitere Informationen http://aka.ms/startHDInsight http://aka.ms/MVABigData http://aka.ms/startADF http://aka.ms/startASA http://aka.ms/MLserie http://aka.ms/AzureML-MVA
  69. 69. http://aka.ms/TechWiese
  70. 70. Danke!  aka.ms/azurenow oliviaklose.com @oliviaklose

×