Logdaten sind wie das Rohöl. Erst die Verarbeitung macht sie richtig wertvoll. Mit Logstash, Elasticsearch und Kibana hat uns und die Community genau dafür ein starkes und äußerst agiles Dreiergespann geschenkt. Logstash für Datenakquisition und Normalisierung. Elasticsearch für Indexierung, Speicherung und Suche. Und nicht zuletzt Kibana für Visualisierung. Das ist das Fundament für viele hoch aktuelle und interessante Anwendungsfälle, die Echtzeitfähigkeit und Agilität erfordern: Sentiment Analyse, Systemüberwachung oder Benutzertracking. In diesem Webinar lernen Sie, wie Logstash, Elasticsearch und Kibana installiert und konfiguriert werden. Gerüstet mit diesem Wissen können Sie eigene Projekte zur Datenanalyse umsetzen!
Folgendes erfahren Sie aus dem Webinar:
• Das Ökosystem rund um Suche, Big Data, Analyse
• Alles alter Käse? Oder was Logstash, Elasticsearch und Kibana anders machen.
• Was ist Elasticsearch?
• Elasticsearch Setup durchführen
• Was ist Logstash?
• Logstash Setup durchführen
• Was ist Kibana?
• Kibana Setup durchführen
• Berechtigungen abbilden
• Demonstration
Jax 2012 - Apache Solr as Enterprise Search Platform
Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse
1. Technology
Drives
Business
SETTING-UP ELASTICSEARCH
LOGSTASH, KIBANA FÜR
AGILE DATENANALYSE
Webinar am 13. Februar 2014
Apache Solr, Solr, Apache Lucene, Lucene and their logos are trademarks of the Apache Software Foundation.
Elasticsearch, Kibana, Marvel, Logstash are trademarks of Elasticsearch BV, registered in the U.S. and in other countries.
2. SHI & Me
Agile Datenanalyse
Elasticsearch
Logstash
Kibana
Blick über den Tellerrand
Demonstration
Q & A
AGENDA
3. MARKUS KLOSE
Expertise in Elasticsearch, Solr, Lucene, Fast ESP
Certified Solr Trainer
Speaker, Blogger
Author
Contributor
markus.klose@shi-gmbh.com
@markus_klose
4. UNSERE MISSION
Seit 1994 hersteller-unabhängiges Unternehmen für IT Consulting und Software
Engineering.
Wir bieten Lösungen rund um Semantic Search, Big Data und Explorative
Datenanalyse auf der Basis etablierter Open-Source Software.
Wir stellen Werkzeuge bereit, die durch optimale Nutzung der Technologie und Daten
unsere Kunden beim Erreichen Ihrer Geschäftsziele unterstützen.
5. WAS WIR TUN
MIT SERVICES
DURCH
ANWENDUNG
DES KNOW-HOWS
REALISIEREN
LÖSUNGEN
ZUR
OPTIMALEN
NUTZUNG
VON DATEN
• Strategy Consulting
• Technical Consulting
• Architecture Review
• Development Support
• Team Enablement
Through Workshops and
Trainings
• Technology Comparison
• Tuning & Troubleshooting
• Migration Services
• Experts to Hire
• Service Level Agreements
• Software Architecture
• Coding Services for Java,
C++/C, .NET, PHP for
multiple OSs.
• Continuous Integration
and Test Driven
Development
• Managing Software
Project Lifecycle
• Explorative Data Analytics
• Commerce Search
• Identity Search
• Call Center Search
• Cyber Security
• Website Search
• Fraud Detection
• Governance and
Compliance
UND
ETABLIERTEN
PRODUKTEN
UND
PARTNERN
• Apache Solr/Lucene
• Apache Mahout
• Apache Hadoop, Pig, Hive
• LucidWorks Search
• LucidWorks Search Big Data
6. UP-COMING EVENTS
24.02.-27.02.2014: Apache Solr Trainings
(zwei Module je zwei Tage)
27.02.2014: Suche und Navigation in Online-Shops. Mit Solr und
Elasticsearch
06.03.2014: Elasticsearch Monitoring mit Elasticsearch Marvel
Q2 2014: Sentiment Analysis von Twitter Streams
Q2 2014 : Benutzerverhalten in Echtzeit analysieren
Q2 2014 : Analyse von Datenströmen & Fraud Detection
Q3 2014 : Scalable architectures for massive data acquisition &
analysis
10. WAS ELK ANDERS MACHT
Ein Stack um alle „Logs“ zu knechten …
• alles aus einer Hand
• keine Kosten -> Apache 2 Lizenz
• flexibel in der Anwendung
• umfangreiche Konfiguration und
Darstellungsmöglichkeiten
• Hochskalierbar
• minimale technische Kenntnisse nötig
… unterschiedliche Daten (technisch & business)
mit einander in Verbindung zu bringen
11. ELASTICSEARCH IN A NUTSHELL
Was ist Elasticsearch
• dokumentorientierte Search-Engine / Data Store
• Schema frei
• skalierbar & verteilt
• Near Real Time – fähig
• erweiterbar
Was kann man mit Elasticsearch machen
• (un)strukturierte Suche
• Daten „speichern“
14. LOGSTASH IN A NUTSHELL
Was ist Logstash
• Framework zur Verarbeitung und Visualisierung
von Log Dateien
• konfigurierbar (Input, Filter, Output)
• Erweiterbar durch Plugins
Was kann man mit Logstash machen
• Log Dateien sammeln / parsen / speichern /
durchsuchen
• Daten transformieren
17. KIBANA IN A NUTSHELL
Was ist Kibana
• Web-Interface für Elasticsearch/Logstash
• konfigurierbare und wiederverwendbare
Dashboards
Was kann man mit Kibana machen
• System- / Performance Monitoring
• Sentiment Analyse
• …
24. KONTAKT
SHI GmbH & Co. KG
Curt-Frenzel-Str. 12
D - 86167 Augsburg
info@shi-gmbh.com
+49.821.74 82 633 - 0
@SHIEngineers
Michael Marheineke Markus Klose Daniel Wrigley
26. BILDERNACHWEIS
Amazon Error -
http://geekswithblogs.net/MainaD/archive/2008/06/06/122674.aspx
Öl Pumpstation - http://www.flickr.com/photos/paul_lowry/2770193028/
Lord Of The Ring -
http://www.flickr.com/photos/cosmic_bandita/2218419160/sizes/l/
Hinweis der Redaktion
Betreiben Sie Analytics? (Ja/Nein)
Was für eine Analyse betreiben Sie (Performance/LogFile/User Verhalten/Relevanz Analyse/Sontiges)
Bedarf an kibana4solr
Deutsche Folien?
Analyse/ Monitoring
Service-Levels zu verbessern
IT-Betriebskosten zu reduzieren
Sicherheitsrisiken zu verringern
Transparenz betrieblicher Prozesse erhöhen
Datenströme kommen überall her,
- logs
- click events auf websites
-
http://www.elasticsearch.org/videos/
http://www.elasticsearch.org/webinars/introduction-to-logstash/
http://www.elasticsearch.org/videos/make-sense-of-your-big-data/
Ein Tool um unterschiedlischste Daten (technische Infos & Business Infos) miteinander in Verbindung zu bringen
(herr der ringe)
What is ES
Document oriented search engine
JSON based, Apache Lucene
Schema Free
Yet enables control of it when needed
Distributed
Scales Up+Out, Highly Available
Multi-tenancy
Dynamically create/delete indices
API centric
Most functionality is exposed through an API
What can i do !
Unstructured Search
Find all companies in the ‘search’ domain
Structured Search
Find all companies founded between 2010 and 2012
Facets
Return the average annual revenue for all companies
Combine
Return the average annual revenue for all companies founded between 2010 and 2012 in the ‘search’ domain
All in (near) Realtime
Wenn Interesse an Fortsetzungen bzw. bestimmten verwandten Themen besteht, können Sie uns gerne schreiben. Es ist durchaus möglich, dass es ein weiteres Webinar aus dieser Reihe gibt. Wir verfolgen Ideen von Zuhörern natürlich gerne weiter, denn dort wissen wir schon sicher von Interessenten.
Wenn es Themen gibt, die eher technischer Natur sind und arg in die Tiefe gehen, kann es sein, dass "nur" ein Blog-Beitrag veröffentlicht wird.