Hochgeladen vonSplunk
Splunk Webinar: Machine Learning mit Splunk
Das Dokument behandelt die Relevanz von Machine Learning (ML) für die Verarbeitung großer Datenmengen und die Entscheidungsfindung in verschiedenen Anwendungsbereichen, wie z.B. Betrugserkennung und Wettervorhersage. Es erläutert die Haupttypen von ML, darunter überwachte, unüberwachte und verstärkende Lernverfahren, sowie die Implementierung von ML in der Splunk-Plattform. Zudem werden Anwendungsfälle und die Vorteile von ML für Unternehmen hervorgehoben, einschließlich der Optimierung von Betriebsabläufen und der Identifikation von Mustern in Echtzeitdaten.
Splunk Webinar: Machine Learning mit Splunk
- 1. Copyright © 2017Splunk Inc. Machine Learning Philipp Drieger Sr. Sales Engineer SME BA | IoT | ML philipp@splunk.com
- 2. 2 Disclaimer During the courseof this presentation, we may make forward looking statements regarding future events or the expected performance of the company. We caution you that such statements reflect our current expectations and estimates based on factors currently known to us and that actual events or results could differ materially. For important factors that may cause actual results to differ from those contained in our forward-looking statements, please review our filings with the SEC. The forward-looking statements made in the this presentation are being made as of the time and date of its live presentation. If reviewed after its live presentation, this presentation may not contain current or accurate information. We do not assume any obligation to update any forward looking statements we may make. In addition, any information about our roadmap outlines our general product direction and is subject to change at any time without notice. It is for informational purposes only and shall not, be incorporated into any contract or other commitment. Splunk undertakes no obligation either to develop the features or functionality described or to include any such feature or functionality in a future release.
- 3. Copyright © 2017Splunk Inc. Warum benötigen wir Machine Learning?
- 4. 4 Menschen sind gutim Lernen, sind aber verloren im Volumen und den Details großer Datenmengen…
- 5. 5 ML umgibt unsalle BEISPIELE • Gesichtserkennung: klassifikation von Gesichtern in Fotos • Spam Filter: Identifikation von Spamnachrichten • Empfehlungssystem: Vorschläge / Vorhersage was Kunden wahrscheinlich als nächstes kaufen (wollen) • Betrugserkennung: Identifikation von Transaktionen, die auf Betrug zurückzuführen sind • Wettervorhersage: Vorhersage ob es morgen regnet oder nicht. Einschätzung von Tagesminima und –maxima.
- 6. 6 Warum brauchen wirMachine Learning? - Entscheidungsfindung - Vorhersage von KPIs - Alarmierung bei Abweichungen - Aufdecken unbekannter Muster und Beziehungen - Automation Dies alles benötigt verschiedene Daten aus vielen Quellen. Mengen an unstrukturierten Daten, Echtzeit Daten.
- 7. 7 Platform für Maschinendaten DevelopVisualizePredictAlertSearch Engineers Data Analysts Security Analysts Business Users Native Inputs TCP, UDP, Logs, Scripts, Wire, Mobile Industrial Data SCADA, AMI, Meter Reads Modular Inputs MQTT, AMQP, COAP, REST, JMS HTTP Event Collector Token Authenticated Events Real Time Technology Partnerships Kepware, AWS IoT, Cisco, Palo Alto Maintenance Info Asset Info Data Stores External Lookups/Enrichment 7 OT Industrial Assets IT Consumer and Mobile Devices
- 8. 8 Erkenntnisse für dasGeschäft in Echtzeit Daten aus der Vergangenheit Daten in Echtzeit Statistische Vorhersage T – a few days T + a few days Security Operations Center IT Operations Center Business Operations Center Predictive (Models) Descriptive (BI Tools, Data Lakes) Grauzone
- 9. Copyright © 2017Splunk Inc. Was ist Machine Learning?
- 10. 10 Was ist MachineLearning? Was: “Field of study that gives computers the ability to learn without being explicitly programmed” – A. Samuel, 1959 Wie: Generalisierung (Lernen) anhand von Beispielen (Daten) Vereinfachter ML workflow: – EXPLORATION von Daten – FIT Modelle auf Basis der Daten – APPLY Modelle in Produktion – VALIDATE Modellverifikation – REPEAT
- 11. 11 Haupttypen von MachineLearning 1. Supervised Learning (überwachtes Lernen): Generalisierung von beschriebenen, klassifizierten (labeled) Datenpunkten
- 12. 12 Haupttypen von MachineLearning 2. Unsupervised Learning (unüberwachtes Lernen): Generalisierung von unbeschriebenen (unlabeled) Datenpunkten
- 13. 13 3. Reinforcement Learning: •System wird belohnt (oder bestraft) auf Basis der Qualität seiner Ergebnisse • Die Handlung führt zu einer Veränderung in der Welt und hat ein Fehlermaß Haupttypen von Machine Learning
- 14. Copyright © 2017Splunk Inc. Machine Learning (ML) in Splunk
- 15. 15 Übersicht von MachineLearning in Splunk Splunk Enterprise Suchbefehle (SPL) Splunk Premium Apps Custom ML Platform for Operational Intelligence
- 16. 16 Machine Learning inSPL Splunk’s Seach Processing Language (SPL) ist eine mächtige, flexible und erweiterbare Suchsprache, welche Machine Learning Kommandos enthält anomalydetection
- 17. 17 Splunk IT ServiceIntelligence Daten sammeln Definition von Services, Entitäten und KPIs Monitoring und Troubleshooting Analysieren und detektieren Data-Defined, Data-Driven Service Insights Packaged ML: Adaptive Thresholds and Anomaly Detection Eine der Splunk Premium Apps
- 18. 18 Splunk Machine LearningToolkit (App) Assistenten: Geführte Modellbildung, -tests und Deployment für grundlegende ML Ansätze Showcases: Interaktive Beispiele für typische Anwendungsfälle aus Bereichen IT, security, business, IoT Algorithms: 25+ Standard Algorithmen verfügbar SPL ML Commands: Neue Suchbefehle um Modelle zu erstellen, zu testen und zu operationalisieren Python for Scientific Computing Library: 300+ open source Algorithmen verfügbar zur schnellen Nutzung Erstellung angepasster Analytics für jeden Anwendungsbereich Erweiterung der Funktionalität der Splunk Platform für UI gestützte Modellierung
- 19.
- 20. 20 ITSI, UBA Domänen-/ Expertenwissen (IT, Security, …) Data Science Expertise Splunk Expertise CustomizedMachine Learning – Erfolgsformel Identifikation von Anwendungsfällen Relevant zur Entscheidungsfindung Priorisierung anhand des Geschäftsnutzens SPL Datenvorbereitung Bereinigung, Transformation… Statistik / Mathematischer Hintergrund Auswahl geeigneter Algorithmen Erstellung von Modellen Splunk ML Toolkit ermöglicht und vereinfacht anhand von Beispielen und Assistenten Operationaler Erfolg
- 21. 21 Zusammenfassung: ML Worflow Problem:<Irgendetwas in Welt> erzeugt großen Zeit- oder Kostenaufwand. Hypothese des Wertes. Lösung: Erstellung eines ML Modells um <mögliche Vorfälle> vorherzusagen, vorausschauen zu handeln. Operationalisierung 1. Alle relevanten Daten zum Problem beschaffen; Exploration der Daten 2. Auswahl und Anpassung (Fit) von Algorithmen auf den Daten, um ein Modell zu generieren 3. Anwendung (Apply) & Validierung (Validate) der Modelle, bis die gewünschte Güte der Vorhersage zur Lösung des Problems erreicht ist 4. Bereitstellung des Modells zu Abteilung X, die mit den Ergebnissen arbeitet
- 22. 22 Machine Learning Prozessin Splunk Daten sammeln Exploration, Visualisierung Modellierung Evaluierung Bereinigung, Transformation Bereit- stellung props.conf, transforms.conf, Datenmodelle Add-ons von Splunkbase, etc. Pivot, Dataset UI, SPL ML Toolkit Alarmierung, Dashboards, Reports
- 23. Copyright © 2017Splunk Inc. ML Anwendungsfälle und Einsatz bei Kunden
- 24. 24 Machine Learning beiSplunk Kunden Network Incident Detection Service Degradation Detection Security / Fraud Prevention Prioritize Website Issues and Predict Root Cause Predict Gaming Outages Fraud Prevention Machine Learning Consulting Services Analytics App built on ML Toolkit Optimizing operations and business results Cell Tower Incident Detection Optimize Repair Operations Entertainment Company
- 25. 25 ML Toolkit CustomerUse Cases Speeding website problem resolution by automatically ranking actions for support engineers Reducing customer service disruption with early identification of difficult-to-detect network incidents Minimizing cell tower degradation and downtime with improved issue detection sensitivity Improving cell tower uptime and reducing repair truck roles with anomaly detection and root cause analysis Predicting and averting potential gaming outage conditions with finer-grained detection Ensuring mobile device security by detecting anomalies in ID authentication Preventing fraud by Identifying malicious accounts and suspicious activities Entertainment Company
- 26. 26 ML Resourcen LINKS • MLToolkit App: https://splunkbase.splunk.com/app/2890/ • ML Toolkit User Guide: http://docs.splunk.com/Documentation/MLApp/latest/User/About • Algorithmen: http://docs.splunk.com/Documentation/MLApp/latest/User/Algorithms • ML Performance App: https://splunkbase.splunk.com/app/3289/ • Splunk User Conference Sessions: http://conf.splunk.com/sessions/2016-sessions.html • Splunk Blogs: https://www.splunk.com/blog/author/pdrieger/ • Nächste Splunk Live am 6. April 2017 in München: http://live.splunk.com/SL_Munich2017
- 27. Copyright © 2017Splunk Inc. Live Demo
- 28. Copyright © 2017Splunk Inc. Dankeschön philipp@splunk.com
Hinweis der Redaktion
- #28 Time for ML demo! Get the ML App: http://tiny.cc/splunkmlapp Want more? Take Splunk’s Analytics & Data Science course! Course prework: http://bit.ly/splunkanalytics