Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End

1.870 Aufrufe

Veröffentlicht am

Predictive Analytics oder Data Science sind in einer Zeit, in der die Menge an Daten stetig zunimmt, wertvolle Hilfsmittel. Die Einsatzbereiche sind vielfältig und reichen von der Vorhersage von Fußballergebnissen über persönliche Kaufempfehlungen in Online-Shops bis zum Ergreifen präventiver Wartungsmaßnahmen in der industriellen Produktion.

In diesem Vortrag werden verschiedene Dienste der Azure-Datenplattform vorgestellt, mit denen aus der Datenflut hilfreiche Erkenntnisse gewonnen werden können.

Veröffentlicht in: Daten & Analysen
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.870
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
643
Aktionen
Geteilt
0
Downloads
9
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End

  1. 1. //Rebuild Hätte ich auf der Titanic überlebt? BigData Analysis End-To-End Olivia Klose Technical Evangelist, Microsoft @oliviaklose
  2. 2. Sammeln Analysieren Konsumieren Speichern
  3. 3. Was war? Was ist? Was wird?
  4. 4. Advanced Analytics – Beyond BI What happened? Why did it happen? What will happen? How can we make it happen? Traditional BI Advanced Analytics
  5. 5. Was war? Was ist? Was wird?
  6. 6. Sensordaten im Geschäft
  7. 7. Sensordaten im Geschäft ID Kunden ID Interaktionsdaten x- & y-Koordinaten Product ID
  8. 8. Sensordaten im Geschäft Display ID Display Name x-Koordinaten y-Koordinaten
  9. 9. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte
  10. 10. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte Join Nach Beliebtheit sortieren
  11. 11. Hadoop
  12. 12. HDInsight
  13. 13. HDInsight
  14. 14. Azure Management Portal http://manage.windowsazure.com
  15. 15. HDInsight
  16. 16. HDInsight
  17. 17. HDInsight
  18. 18. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren
  19. 19. Orchestrieren? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren
  20. 20. Orchestrieren? Azure Data Factory C# MapReduce Hive Pig Stored Procedures
  21. 21. Azure Data Factory
  22. 22. Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren Azure Data Factory
  23. 23. Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren In SQL DB kopieren Azure Data Factory
  24. 24. Datasets
  25. 25. Pipelines
  26. 26. Pipeline #1
  27. 27. Pipeline #1
  28. 28. Pipeline #1
  29. 29. Pipeline #1
  30. 30. Linked Services
  31. 31. Linked Service #1
  32. 32. Linked Service #2
  33. 33. Linked Service #3
  34. 34. Pipeline #2
  35. 35. Und was kam raus?
  36. 36. Sammeln Speichern Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
  37. 37. Was war? Was ist? Was wird?
  38. 38. Echtzeitdaten von Geschäften
  39. 39. Azure Stream Analytics Azure SQL DB Azure Event Hubs Azure Tables Azure Blob Storage Azure Blob Storage Azure Event Hubs Reference Data Query runs continuously against incoming streams of events Events Optionally, have a defined schema and are temporal (sequenced in time)
  40. 40. Azure Stream Analytics – Query
  41. 41. Azure Stream Analytics – Query
  42. 42. Azure Stream Analytics – Query
  43. 43. Azure Stream Analytics – Query Zeitfenster von 1 Sekunde, um halbe Sekunde versetzt
  44. 44. Azure Stream Analytics – Zeitfenster Tumbling Window Hopping Window Sliding Window
  45. 45. Azure Stream Analytics
  46. 46. Beliebte Produkte? In Echtzeit. Wann, was, wieviele Sensordaten Event-Hub Stream Analytics Dashboard
  47. 47. Gespeichert in SQL DB
  48. 48. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
  49. 49. Was war? Was ist? Was wird?
  50. 50. Was ist Machine Learning? “The goal of machine learning is to program computers to use example data or past experience to solve a given problem.” Introduction to Machine Learning, 2nd Edition, MIT Press
  51. 51. Machine Learning – Warum? 1.Zu komplex: Man kann es nicht programmieren. (z.B. Natural Language Processing, Handschrifterkennung, Computer Vision,…) 2.Zu viel: Man kann es nicht skalieren. (z.B. Spam & Betrugsaufdeckung, Medizin) 3.Zu speziell: Man will personalisierte Programme schreiben. (z.B. Amazon, Netflix) 4.Autonomes Lernen (z.B. Robotik)
  52. 52. Azure Machine Learning Machine Learning für alle Unternehmen, Data Scientists, Entwickler, Analysten und Nutzer überall auf der Welt zugänglich machen
  53. 53. Azure Machine Learning HDInsight SQL Server VM SQL DB Blobs & Tabellen Cloud Desktopdateien Exceltabelle Andere… Lokal ML Studio IDE für ML Web Service M Monetarisieren Speicherkonto
  54. 54. Azure Machine Learning
  55. 55. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Data Factory HDInsight Machine Learning Cortana Dashboard
  56. 56. Wrap Up Was haben wir gemacht?
  57. 57. Was war? Was ist? Was wird?
  58. 58. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
  59. 59. Machine Learning Muss ich jetzt Machine Learning lernen?
  60. 60. Azure Marketplace – Empfehlungsdienst
  61. 61. Build Was ist neu?
  62. 62. Azure Data Lake http://azure.com/datalake
  63. 63. Machine Learning API http://gallery.azureml.net
  64. 64. Project Oxford http://projectoxford.ai
  65. 65. Kostenloses E-Book http://aka.ms/MLbook
  66. 66. Blog-Serie zu Machine Learning http://aka.ms/MLSerie
  67. 67. Kostenlose Video-Serie zu Azure ML http://aka.ms/AzureML-MVA
  68. 68. Weitere Informationen http://aka.ms/startHDInsight http://aka.ms/MVABigData http://aka.ms/startADF http://aka.ms/startASA http://aka.ms/MLserie http://aka.ms/AzureML-MVA
  69. 69. http://aka.ms/TechWiese
  70. 70. Danke!  aka.ms/azurenow oliviaklose.com @oliviaklose

×