Logdaten sind wie das Rohöl. Erst die Verarbeitung macht sie richtig wertvoll. Mit Logstash, Elasticsearch und Kibana hat uns und die Community genau dafür ein starkes und äußerst agiles Dreiergespann geschenkt. Logstash für Datenakquisition und Normalisierung. Elasticsearch für Indexierung, Speicherung und Suche. Und nicht zuletzt Kibana für Visualisierung. Das ist das Fundament für viele hoch aktuelle und interessante Anwendungsfälle, die Echtzeitfähigkeit und Agilität erfordern: Sentiment Analyse, Systemüberwachung oder Benutzertracking. In diesem Webinar lernen Sie, wie Logstash, Elasticsearch und Kibana installiert und konfiguriert werden. Gerüstet mit diesem Wissen können Sie eigene Projekte zur Datenanalyse umsetzen! Folgendes erfahren Sie aus dem Webinar: • Das Ökosystem rund um Suche, Big Data, Analyse • Alles alter Käse? Oder was Logstash, Elasticsearch und Kibana anders machen. • Was ist Elasticsearch? • Elasticsearch Setup durchführen • Was ist Logstash? • Logstash Setup durchführen • Was ist Kibana? • Kibana Setup durchführen • Berechtigungen abbilden • Demonstration

1. Technology
Drives
Business
SETTING-UP ELASTICSEARCH
LOGSTASH, KIBANA FÜR
AGILE DATENANALYSE
Webinar am 13. Februar 2014
Apache Solr, Solr, Apache Lucene, Lucene and their logos are trademarks of the Apache Software Foundation.
Elasticsearch, Kibana, Marvel, Logstash are trademarks of Elasticsearch BV, registered in the U.S. and in other countries.

2. SHI & Me
Agile Datenanalyse
Elasticsearch
Logstash
Kibana
Blick über den Tellerrand
Demonstration
Q & A
AGENDA

3. MARKUS KLOSE
Expertise in Elasticsearch, Solr, Lucene, Fast ESP
Certified Solr Trainer
Speaker, Blogger
Author
Contributor
markus.klose@shi-gmbh.com
@markus_klose

4. UNSERE MISSION
Seit 1994 hersteller-unabhängiges Unternehmen für IT Consulting und Software
Engineering.
Wir bieten Lösungen rund um Semantic Search, Big Data und Explorative
Datenanalyse auf der Basis etablierter Open-Source Software.
Wir stellen Werkzeuge bereit, die durch optimale Nutzung der Technologie und Daten
unsere Kunden beim Erreichen Ihrer Geschäftsziele unterstützen.

5. WAS WIR TUN
MIT SERVICES
DURCH
ANWENDUNG
DES KNOW-HOWS
REALISIEREN
LÖSUNGEN
ZUR
OPTIMALEN
NUTZUNG
VON DATEN
• Strategy Consulting
• Technical Consulting
• Architecture Review
• Development Support
• Team Enablement
Through Workshops and
Trainings
• Technology Comparison
• Tuning & Troubleshooting
• Migration Services
• Experts to Hire
• Service Level Agreements
• Software Architecture
• Coding Services for Java,
C++/C, .NET, PHP for
multiple OSs.
• Continuous Integration
and Test Driven
Development
• Managing Software
Project Lifecycle
• Explorative Data Analytics
• Commerce Search
• Identity Search
• Call Center Search
• Cyber Security
• Website Search
• Fraud Detection
• Governance and
Compliance
UND
ETABLIERTEN
PRODUKTEN
UND
PARTNERN
• Apache Solr/Lucene
• Apache Mahout
• Apache Hadoop, Pig, Hive
• LucidWorks Search
• LucidWorks Search Big Data

6. UP-COMING EVENTS
24.02.-27.02.2014: Apache Solr Trainings
(zwei Module je zwei Tage)
27.02.2014: Suche und Navigation in Online-Shops. Mit Solr und
Elasticsearch
06.03.2014: Elasticsearch Monitoring mit Elasticsearch Marvel
Q2 2014: Sentiment Analysis von Twitter Streams
Q2 2014 : Benutzerverhalten in Echtzeit analysieren
Q2 2014 : Analyse von Datenströmen & Fraud Detection
Q3 2014 : Scalable architectures for massive data acquisition &
analysis

7. Was ist passiert ???

8. DATEN SIND ROHÖL

9. DAS ÖKOSYSTEM

10. WAS ELK ANDERS MACHT
Ein Stack um alle „Logs“ zu knechten …
• alles aus einer Hand
• keine Kosten -> Apache 2 Lizenz
• flexibel in der Anwendung
• umfangreiche Konfiguration und
Darstellungsmöglichkeiten
• Hochskalierbar
• minimale technische Kenntnisse nötig
… unterschiedliche Daten (technisch & business)
mit einander in Verbindung zu bringen

11. ELASTICSEARCH IN A NUTSHELL
Was ist Elasticsearch
• dokumentorientierte Search-Engine / Data Store
• Schema frei
• skalierbar & verteilt
• Near Real Time – fähig
• erweiterbar
Was kann man mit Elasticsearch machen
• (un)strukturierte Suche
• Daten „speichern“

12. ELASTICSEARCH IN BILD

13. SETUP
Herunterladen & entpacken
Starten
Indexieren
Suchen
1
2
3
4
bin/elasticsearch
curl –XPUT 'http://localhost:9200/webinar/comments/1' –d '{
„speaker“ : „Markus Klose“,
„comment“ : „Elasticsearch is pretty easy!“ }'
curl -XGET
'http://localhost:9200/webinar/_search?q=speaker:markus'

14. LOGSTASH IN A NUTSHELL
Was ist Logstash
• Framework zur Verarbeitung und Visualisierung
von Log Dateien
• konfigurierbar (Input, Filter, Output)
• Erweiterbar durch Plugins
Was kann man mit Logstash machen
• Log Dateien sammeln / parsen / speichern /
durchsuchen
• Daten transformieren

15. LOGSTASH IN BILD
Logstash – Standalone
LOG
LOG
LOG
Logstash - Shipper
Broker

16. Herunterladen
Konfigurieren
Starten
1
2
3
input {
SETUP
stdin { }
}
output {
stdout { }
}
java -jar logstash-1.3.3-flatjar.jar agent -f logstash.conf -- web

17. KIBANA IN A NUTSHELL
Was ist Kibana
• Web-Interface für Elasticsearch/Logstash
• konfigurierbare und wiederverwendbare
Dashboards
Was kann man mit Kibana machen
• System- / Performance Monitoring
• Sentiment Analyse
• …

18. KIBANA IN BILD

19. Herunterladen & entpacken
Konfigurieren
Webserver installieren
Deploy in einem Webserver
1
2
3
…
elasticsearch: „http://localhost:9200“,
…
4
SETUP

20. ÜBER DEN TELLERRAND
Elasticsearch Cluster Monitoring
• RealTime Cluster Status
• Hardware Monitoring
• Historische Fehleranalyse

21. ÜBER DEN TELLERRAND - SOLR
Logstash4Solr
• Logstash Output Solr
• Vorgefertigte Konfiguration für Solr
Kibana4Solr
• „Translator“ für Elasticsearch DSL
• Slides Lucene/Solr Revolution 2014
http://de.slideshare.net/lucenerevolution/2013-
dublin-kibana4solr

22. SETUP
Demonstration - Trend-Analyse
http://www.infochimps.com/datasets/projected-online-retail-sales-2006-
to-2011

23. Q & A

24. KONTAKT
SHI GmbH & Co. KG
Curt-Frenzel-Str. 12
D - 86167 Augsburg
info@shi-gmbh.com
+49.821.74 82 633 - 0
@SHIEngineers
Michael Marheineke Markus Klose Daniel Wrigley

25. WEITERFÜHRENDE INFOS
SHI Blog: www.shi-gmbh.com/blog
Elasticsearch: www.elasticsearch.org & www.elasticsearch.com
Elasticsearch Resources: http://www.elasticsearch.org/resources/
Download Elasticsearch/Logstash/Kibana:
http://www.elasticsearch.org/overview/elkdownloads/
Monitoring Elasticsearch – Marvel:
http://www.elasticsearch.com/marvel
LucidWorks: http://www.lucidworks.com/support-services/

26. BILDERNACHWEIS
Amazon Error -
http://geekswithblogs.net/MainaD/archive/2008/06/06/122674.aspx
Öl Pumpstation - http://www.flickr.com/photos/paul_lowry/2770193028/
Lord Of The Ring -
http://www.flickr.com/photos/cosmic_bandita/2218419160/sizes/l/