SlideShare ist ein Scribd-Unternehmen logo
1 von 26
Technology 
Drives 
Business 
SETTING-UP ELASTICSEARCH 
LOGSTASH, KIBANA FÜR 
AGILE DATENANALYSE 
Webinar am 13. Februar 2014 
Apache Solr, Solr, Apache Lucene, Lucene and their logos are trademarks of the Apache Software Foundation. 
Elasticsearch, Kibana, Marvel, Logstash are trademarks of Elasticsearch BV, registered in the U.S. and in other countries.
SHI & Me 
Agile Datenanalyse 
Elasticsearch 
Logstash 
Kibana 
Blick über den Tellerrand 
Demonstration 
Q & A 
AGENDA
MARKUS KLOSE 
Expertise in Elasticsearch, Solr, Lucene, Fast ESP 
Certified Solr Trainer 
Speaker, Blogger 
Author 
Contributor 
markus.klose@shi-gmbh.com 
@markus_klose
UNSERE MISSION 
Seit 1994 hersteller-unabhängiges Unternehmen für IT Consulting und Software 
Engineering. 
Wir bieten Lösungen rund um Semantic Search, Big Data und Explorative 
Datenanalyse auf der Basis etablierter Open-Source Software. 
Wir stellen Werkzeuge bereit, die durch optimale Nutzung der Technologie und Daten 
unsere Kunden beim Erreichen Ihrer Geschäftsziele unterstützen.
WAS WIR TUN 
MIT SERVICES 
DURCH 
ANWENDUNG 
DES KNOW-HOWS 
REALISIEREN 
LÖSUNGEN 
ZUR 
OPTIMALEN 
NUTZUNG 
VON DATEN 
• Strategy Consulting 
• Technical Consulting 
• Architecture Review 
• Development Support 
• Team Enablement 
Through Workshops and 
Trainings 
• Technology Comparison 
• Tuning & Troubleshooting 
• Migration Services 
• Experts to Hire 
• Service Level Agreements 
• Software Architecture 
• Coding Services for Java, 
C++/C, .NET, PHP for 
multiple OSs. 
• Continuous Integration 
and Test Driven 
Development 
• Managing Software 
Project Lifecycle 
• Explorative Data Analytics 
• Commerce Search 
• Identity Search 
• Call Center Search 
• Cyber Security 
• Website Search 
• Fraud Detection 
• Governance and 
Compliance 
UND 
ETABLIERTEN 
PRODUKTEN 
UND 
PARTNERN 
• Apache Solr/Lucene 
• Apache Mahout 
• Apache Hadoop, Pig, Hive 
• LucidWorks Search 
• LucidWorks Search Big Data
UP-COMING EVENTS 
24.02.-27.02.2014: Apache Solr Trainings 
(zwei Module je zwei Tage) 
27.02.2014: Suche und Navigation in Online-Shops. Mit Solr und 
Elasticsearch 
06.03.2014: Elasticsearch Monitoring mit Elasticsearch Marvel 
Q2 2014: Sentiment Analysis von Twitter Streams 
Q2 2014 : Benutzerverhalten in Echtzeit analysieren 
Q2 2014 : Analyse von Datenströmen & Fraud Detection 
Q3 2014 : Scalable architectures for massive data acquisition & 
analysis
Was ist passiert ???
DATEN SIND ROHÖL
DAS ÖKOSYSTEM
WAS ELK ANDERS MACHT 
Ein Stack um alle „Logs“ zu knechten … 
• alles aus einer Hand 
• keine Kosten -> Apache 2 Lizenz 
• flexibel in der Anwendung 
• umfangreiche Konfiguration und 
Darstellungsmöglichkeiten 
• Hochskalierbar 
• minimale technische Kenntnisse nötig 
… unterschiedliche Daten (technisch & business) 
mit einander in Verbindung zu bringen
ELASTICSEARCH IN A NUTSHELL 
Was ist Elasticsearch 
• dokumentorientierte Search-Engine / Data Store 
• Schema frei 
• skalierbar & verteilt 
• Near Real Time – fähig 
• erweiterbar 
Was kann man mit Elasticsearch machen 
• (un)strukturierte Suche 
• Daten „speichern“
ELASTICSEARCH IN BILD
SETUP 
Herunterladen & entpacken 
Starten 
Indexieren 
Suchen 
1 
2 
3 
4 
bin/elasticsearch 
curl –XPUT 'http://localhost:9200/webinar/comments/1' –d '{ 
„speaker“ : „Markus Klose“, 
„comment“ : „Elasticsearch is pretty easy!“ }' 
curl -XGET 
'http://localhost:9200/webinar/_search?q=speaker:markus'
LOGSTASH IN A NUTSHELL 
Was ist Logstash 
• Framework zur Verarbeitung und Visualisierung 
von Log Dateien 
• konfigurierbar (Input, Filter, Output) 
• Erweiterbar durch Plugins 
Was kann man mit Logstash machen 
• Log Dateien sammeln / parsen / speichern / 
durchsuchen 
• Daten transformieren
LOGSTASH IN BILD 
Logstash – Standalone 
LOG 
LOG 
LOG 
Logstash - Shipper 
Broker
Herunterladen 
Konfigurieren 
Starten 
1 
2 
3 
input { 
SETUP 
stdin { } 
} 
output { 
stdout { } 
} 
java -jar logstash-1.3.3-flatjar.jar agent -f logstash.conf -- web
KIBANA IN A NUTSHELL 
Was ist Kibana 
• Web-Interface für Elasticsearch/Logstash 
• konfigurierbare und wiederverwendbare 
Dashboards 
Was kann man mit Kibana machen 
• System- / Performance Monitoring 
• Sentiment Analyse 
• …
KIBANA IN BILD
Herunterladen & entpacken 
Konfigurieren 
Webserver installieren 
Deploy in einem Webserver 
1 
2 
3 
… 
elasticsearch: „http://localhost:9200“, 
… 
4 
SETUP
ÜBER DEN TELLERRAND 
Elasticsearch Cluster Monitoring 
• RealTime Cluster Status 
• Hardware Monitoring 
• Historische Fehleranalyse
ÜBER DEN TELLERRAND - SOLR 
Logstash4Solr 
• Logstash Output Solr 
• Vorgefertigte Konfiguration für Solr 
Kibana4Solr 
• „Translator“ für Elasticsearch DSL 
• Slides Lucene/Solr Revolution 2014 
http://de.slideshare.net/lucenerevolution/2013- 
dublin-kibana4solr
SETUP 
Demonstration - Trend-Analyse 
http://www.infochimps.com/datasets/projected-online-retail-sales-2006- 
to-2011
Q & A
KONTAKT 
SHI GmbH & Co. KG 
Curt-Frenzel-Str. 12 
D - 86167 Augsburg 
info@shi-gmbh.com 
+49.821.74 82 633 - 0 
@SHIEngineers 
Michael Marheineke Markus Klose Daniel Wrigley
WEITERFÜHRENDE INFOS 
SHI Blog: www.shi-gmbh.com/blog 
Elasticsearch: www.elasticsearch.org & www.elasticsearch.com 
Elasticsearch Resources: http://www.elasticsearch.org/resources/ 
Download Elasticsearch/Logstash/Kibana: 
http://www.elasticsearch.org/overview/elkdownloads/ 
Monitoring Elasticsearch – Marvel: 
http://www.elasticsearch.com/marvel 
LucidWorks: http://www.lucidworks.com/support-services/
BILDERNACHWEIS 
Amazon Error - 
http://geekswithblogs.net/MainaD/archive/2008/06/06/122674.aspx 
Öl Pumpstation - http://www.flickr.com/photos/paul_lowry/2770193028/ 
Lord Of The Ring - 
http://www.flickr.com/photos/cosmic_bandita/2218419160/sizes/l/

Weitere ähnliche Inhalte

Andere mochten auch

Executieveilingen en de rol van informatie op transactieprijzen
Executieveilingen en de rol van informatie op transactieprijzenExecutieveilingen en de rol van informatie op transactieprijzen
Executieveilingen en de rol van informatie op transactieprijzen
Tom de Keijzer
 
Sundayupmarket Elba Keynotes
Sundayupmarket Elba KeynotesSundayupmarket Elba Keynotes
Sundayupmarket Elba Keynotes
Outmarketing
 
Unemployment benefits the essentials
Unemployment benefits the essentialsUnemployment benefits the essentials
Unemployment benefits the essentials
Charles Lenchner
 
How to get picked for slide share
How to get picked for slide shareHow to get picked for slide share
How to get picked for slide share
Logan Pool
 
Proyecto marjorie
Proyecto marjorieProyecto marjorie
Proyecto marjorie
MAYPICO
 
Tugas mtk bab 1
Tugas mtk bab 1Tugas mtk bab 1
Tugas mtk bab 1
Vai09
 
Sec1 NA - Earth’s Water
Sec1 NA - Earth’s WaterSec1 NA - Earth’s Water
Sec1 NA - Earth’s Water
chua.geog
 

Andere mochten auch (18)

Executieveilingen en de rol van informatie op transactieprijzen
Executieveilingen en de rol van informatie op transactieprijzenExecutieveilingen en de rol van informatie op transactieprijzen
Executieveilingen en de rol van informatie op transactieprijzen
 
Sundayupmarket Elba Keynotes
Sundayupmarket Elba KeynotesSundayupmarket Elba Keynotes
Sundayupmarket Elba Keynotes
 
el investigador
el investigadorel investigador
el investigador
 
Unemployment benefits the essentials
Unemployment benefits the essentialsUnemployment benefits the essentials
Unemployment benefits the essentials
 
Protocolos email
Protocolos emailProtocolos email
Protocolos email
 
instalacion de ubuntun
instalacion de ubuntuninstalacion de ubuntun
instalacion de ubuntun
 
2. Que es Ingeniería del software
2. Que es Ingeniería del software2. Que es Ingeniería del software
2. Que es Ingeniería del software
 
Tema 04
Tema 04Tema 04
Tema 04
 
A Paparoca
A PaparocaA Paparoca
A Paparoca
 
Vectores
VectoresVectores
Vectores
 
Fiesta día del maestro 2014 - 12/09/14 - Chascomús
Fiesta día del maestro 2014 - 12/09/14 - ChascomúsFiesta día del maestro 2014 - 12/09/14 - Chascomús
Fiesta día del maestro 2014 - 12/09/14 - Chascomús
 
How to get picked for slide share
How to get picked for slide shareHow to get picked for slide share
How to get picked for slide share
 
Proyecto marjorie
Proyecto marjorieProyecto marjorie
Proyecto marjorie
 
PI NEWS Autumn 2015
PI NEWS Autumn 2015PI NEWS Autumn 2015
PI NEWS Autumn 2015
 
Tugas mtk bab 1
Tugas mtk bab 1Tugas mtk bab 1
Tugas mtk bab 1
 
Sec1 NA - Earth’s Water
Sec1 NA - Earth’s WaterSec1 NA - Earth’s Water
Sec1 NA - Earth’s Water
 
Insulin brands and types
Insulin brands and typesInsulin brands and types
Insulin brands and types
 
Manual glpi 0.85.1
Manual glpi 0.85.1Manual glpi 0.85.1
Manual glpi 0.85.1
 

Ähnlich wie Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse

Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
SHI Search | Analytics | Big Data
 
Suche und Navigation in Online-Shops. Mit Apache Solr und Elasticsearch
Suche und Navigation in Online-Shops. Mit Apache Solr und ElasticsearchSuche und Navigation in Online-Shops. Mit Apache Solr und Elasticsearch
Suche und Navigation in Online-Shops. Mit Apache Solr und Elasticsearch
SHI Search | Analytics | Big Data
 
SplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case HelvetiaSplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case Helvetia
Splunk
 

Ähnlich wie Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse (20)

Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
 
Suche und Navigation in Online-Shops. Mit Apache Solr und Elasticsearch
Suche und Navigation in Online-Shops. Mit Apache Solr und ElasticsearchSuche und Navigation in Online-Shops. Mit Apache Solr und Elasticsearch
Suche und Navigation in Online-Shops. Mit Apache Solr und Elasticsearch
 
Big Data Konnektivität
Big Data KonnektivitätBig Data Konnektivität
Big Data Konnektivität
 
Warum sap hana sql data warehousing
Warum sap hana sql data warehousingWarum sap hana sql data warehousing
Warum sap hana sql data warehousing
 
Sich selbst verstehen – der ELK-Stack in der Praxis
Sich selbst verstehen – der ELK-Stack in der PraxisSich selbst verstehen – der ELK-Stack in der Praxis
Sich selbst verstehen – der ELK-Stack in der Praxis
 
Cloud Architekturen - von "less Server" zu Serverless
Cloud Architekturen - von "less Server" zu ServerlessCloud Architekturen - von "less Server" zu Serverless
Cloud Architekturen - von "less Server" zu Serverless
 
Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...
Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...
Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...
 
20181120_DOAG_OracleNoSQLDB_KPatenge
20181120_DOAG_OracleNoSQLDB_KPatenge20181120_DOAG_OracleNoSQLDB_KPatenge
20181120_DOAG_OracleNoSQLDB_KPatenge
 
Analyse von Applikationslogs und Querylogs: Datenbanken, Hadoop oder Splunk?
Analyse von Applikationslogs und Querylogs: Datenbanken, Hadoop oder Splunk?Analyse von Applikationslogs und Querylogs: Datenbanken, Hadoop oder Splunk?
Analyse von Applikationslogs und Querylogs: Datenbanken, Hadoop oder Splunk?
 
WS: Uhl, Lisog - Deutsche Wolke
WS: Uhl, Lisog - Deutsche WolkeWS: Uhl, Lisog - Deutsche Wolke
WS: Uhl, Lisog - Deutsche Wolke
 
Lasttest auf Zuruf CloudTest On Demand
Lasttest auf Zuruf CloudTest On DemandLasttest auf Zuruf CloudTest On Demand
Lasttest auf Zuruf CloudTest On Demand
 
Logstash: Windows und Linux Logmanagement (Webinar vom 07.11.2014)
Logstash: Windows und Linux Logmanagement (Webinar vom 07.11.2014)Logstash: Windows und Linux Logmanagement (Webinar vom 07.11.2014)
Logstash: Windows und Linux Logmanagement (Webinar vom 07.11.2014)
 
Oracle Technology Monthly Oktober 2017
Oracle Technology Monthly Oktober 2017Oracle Technology Monthly Oktober 2017
Oracle Technology Monthly Oktober 2017
 
SplunkLive! Frankfurt 2016 - Helvetia Use Case
SplunkLive! Frankfurt 2016 - Helvetia Use CaseSplunkLive! Frankfurt 2016 - Helvetia Use Case
SplunkLive! Frankfurt 2016 - Helvetia Use Case
 
SplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case HelvetiaSplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case Helvetia
 
SplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case HelvetiaSplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case Helvetia
 
Oracle Database 12c Release 2
Oracle Database 12c Release 2 Oracle Database 12c Release 2
Oracle Database 12c Release 2
 
Überblick zu Oracle Database 12c Release 2
Überblick zu Oracle Database 12c Release 2Überblick zu Oracle Database 12c Release 2
Überblick zu Oracle Database 12c Release 2
 
Analytics meets Big Data – R/Python auf der Hadoop/Spark-Plattform
Analytics meets Big Data – R/Python auf der Hadoop/Spark-PlattformAnalytics meets Big Data – R/Python auf der Hadoop/Spark-Plattform
Analytics meets Big Data – R/Python auf der Hadoop/Spark-Plattform
 
Alfresco Day Vienna 2016: Entwickeln mit Alfresco
Alfresco Day Vienna 2016: Entwickeln mit AlfrescoAlfresco Day Vienna 2016: Entwickeln mit Alfresco
Alfresco Day Vienna 2016: Entwickeln mit Alfresco
 

Mehr von SHI Search | Analytics | Big Data

Mit Customer-Journey-Analytics und Recommendations neue Potenziale erschließen
Mit Customer-Journey-Analytics und Recommendations neue Potenziale erschließenMit Customer-Journey-Analytics und Recommendations neue Potenziale erschließen
Mit Customer-Journey-Analytics und Recommendations neue Potenziale erschließen
SHI Search | Analytics | Big Data
 
Neue Kundenpotenziale durch Recommendations erschließen (Vortrag E-Commerce Tag)
Neue Kundenpotenziale durch Recommendations erschließen (Vortrag E-Commerce Tag)Neue Kundenpotenziale durch Recommendations erschließen (Vortrag E-Commerce Tag)
Neue Kundenpotenziale durch Recommendations erschließen (Vortrag E-Commerce Tag)
SHI Search | Analytics | Big Data
 

Mehr von SHI Search | Analytics | Big Data (11)

Buzzword Bingo E-Commerce
Buzzword Bingo E-CommerceBuzzword Bingo E-Commerce
Buzzword Bingo E-Commerce
 
E commerce-tag berlin-nichts_im_sortiment_gefunden
E commerce-tag berlin-nichts_im_sortiment_gefundenE commerce-tag berlin-nichts_im_sortiment_gefunden
E commerce-tag berlin-nichts_im_sortiment_gefunden
 
Mit Customer-Journey-Analytics und Recommendations neue Potenziale erschließen
Mit Customer-Journey-Analytics und Recommendations neue Potenziale erschließenMit Customer-Journey-Analytics und Recommendations neue Potenziale erschließen
Mit Customer-Journey-Analytics und Recommendations neue Potenziale erschließen
 
Apache Solr - die Moderne Open Source Technologie
Apache Solr - die Moderne Open Source TechnologieApache Solr - die Moderne Open Source Technologie
Apache Solr - die Moderne Open Source Technologie
 
Neue Potentiale durch Recommendations erschliessen und Conversions steigern (...
Neue Potentiale durch Recommendations erschliessen und Conversions steigern (...Neue Potentiale durch Recommendations erschliessen und Conversions steigern (...
Neue Potentiale durch Recommendations erschliessen und Conversions steigern (...
 
Neue Kundenpotenziale durch Recommendations erschließen (Vortrag E-Commerce Tag)
Neue Kundenpotenziale durch Recommendations erschließen (Vortrag E-Commerce Tag)Neue Kundenpotenziale durch Recommendations erschließen (Vortrag E-Commerce Tag)
Neue Kundenpotenziale durch Recommendations erschließen (Vortrag E-Commerce Tag)
 
Custom Solr Tokenizer Flexible Tokenizer with JFlex
Custom Solr Tokenizer Flexible Tokenizer with JFlex Custom Solr Tokenizer Flexible Tokenizer with JFlex
Custom Solr Tokenizer Flexible Tokenizer with JFlex
 
Mehr Umsatz mit einer intelligenten Shop-Suche
Mehr Umsatz mit einer intelligenten Shop-SucheMehr Umsatz mit einer intelligenten Shop-Suche
Mehr Umsatz mit einer intelligenten Shop-Suche
 
Überblick über die Suchplattform LucidWorks Search 2.1
Überblick über die Suchplattform LucidWorks Search 2.1Überblick über die Suchplattform LucidWorks Search 2.1
Überblick über die Suchplattform LucidWorks Search 2.1
 
Relevantes schneller finden – mit-Lucene und Solr
Relevantes schneller finden – mit-Lucene und SolrRelevantes schneller finden – mit-Lucene und Solr
Relevantes schneller finden – mit-Lucene und Solr
 
Jax 2012 - Apache Solr as Enterprise Search Platform
Jax 2012 - Apache Solr as Enterprise Search PlatformJax 2012 - Apache Solr as Enterprise Search Platform
Jax 2012 - Apache Solr as Enterprise Search Platform
 

Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse

  • 1. Technology Drives Business SETTING-UP ELASTICSEARCH LOGSTASH, KIBANA FÜR AGILE DATENANALYSE Webinar am 13. Februar 2014 Apache Solr, Solr, Apache Lucene, Lucene and their logos are trademarks of the Apache Software Foundation. Elasticsearch, Kibana, Marvel, Logstash are trademarks of Elasticsearch BV, registered in the U.S. and in other countries.
  • 2. SHI & Me Agile Datenanalyse Elasticsearch Logstash Kibana Blick über den Tellerrand Demonstration Q & A AGENDA
  • 3. MARKUS KLOSE Expertise in Elasticsearch, Solr, Lucene, Fast ESP Certified Solr Trainer Speaker, Blogger Author Contributor markus.klose@shi-gmbh.com @markus_klose
  • 4. UNSERE MISSION Seit 1994 hersteller-unabhängiges Unternehmen für IT Consulting und Software Engineering. Wir bieten Lösungen rund um Semantic Search, Big Data und Explorative Datenanalyse auf der Basis etablierter Open-Source Software. Wir stellen Werkzeuge bereit, die durch optimale Nutzung der Technologie und Daten unsere Kunden beim Erreichen Ihrer Geschäftsziele unterstützen.
  • 5. WAS WIR TUN MIT SERVICES DURCH ANWENDUNG DES KNOW-HOWS REALISIEREN LÖSUNGEN ZUR OPTIMALEN NUTZUNG VON DATEN • Strategy Consulting • Technical Consulting • Architecture Review • Development Support • Team Enablement Through Workshops and Trainings • Technology Comparison • Tuning & Troubleshooting • Migration Services • Experts to Hire • Service Level Agreements • Software Architecture • Coding Services for Java, C++/C, .NET, PHP for multiple OSs. • Continuous Integration and Test Driven Development • Managing Software Project Lifecycle • Explorative Data Analytics • Commerce Search • Identity Search • Call Center Search • Cyber Security • Website Search • Fraud Detection • Governance and Compliance UND ETABLIERTEN PRODUKTEN UND PARTNERN • Apache Solr/Lucene • Apache Mahout • Apache Hadoop, Pig, Hive • LucidWorks Search • LucidWorks Search Big Data
  • 6. UP-COMING EVENTS 24.02.-27.02.2014: Apache Solr Trainings (zwei Module je zwei Tage) 27.02.2014: Suche und Navigation in Online-Shops. Mit Solr und Elasticsearch 06.03.2014: Elasticsearch Monitoring mit Elasticsearch Marvel Q2 2014: Sentiment Analysis von Twitter Streams Q2 2014 : Benutzerverhalten in Echtzeit analysieren Q2 2014 : Analyse von Datenströmen & Fraud Detection Q3 2014 : Scalable architectures for massive data acquisition & analysis
  • 10. WAS ELK ANDERS MACHT Ein Stack um alle „Logs“ zu knechten … • alles aus einer Hand • keine Kosten -> Apache 2 Lizenz • flexibel in der Anwendung • umfangreiche Konfiguration und Darstellungsmöglichkeiten • Hochskalierbar • minimale technische Kenntnisse nötig … unterschiedliche Daten (technisch & business) mit einander in Verbindung zu bringen
  • 11. ELASTICSEARCH IN A NUTSHELL Was ist Elasticsearch • dokumentorientierte Search-Engine / Data Store • Schema frei • skalierbar & verteilt • Near Real Time – fähig • erweiterbar Was kann man mit Elasticsearch machen • (un)strukturierte Suche • Daten „speichern“
  • 13. SETUP Herunterladen & entpacken Starten Indexieren Suchen 1 2 3 4 bin/elasticsearch curl –XPUT 'http://localhost:9200/webinar/comments/1' –d '{ „speaker“ : „Markus Klose“, „comment“ : „Elasticsearch is pretty easy!“ }' curl -XGET 'http://localhost:9200/webinar/_search?q=speaker:markus'
  • 14. LOGSTASH IN A NUTSHELL Was ist Logstash • Framework zur Verarbeitung und Visualisierung von Log Dateien • konfigurierbar (Input, Filter, Output) • Erweiterbar durch Plugins Was kann man mit Logstash machen • Log Dateien sammeln / parsen / speichern / durchsuchen • Daten transformieren
  • 15. LOGSTASH IN BILD Logstash – Standalone LOG LOG LOG Logstash - Shipper Broker
  • 16. Herunterladen Konfigurieren Starten 1 2 3 input { SETUP stdin { } } output { stdout { } } java -jar logstash-1.3.3-flatjar.jar agent -f logstash.conf -- web
  • 17. KIBANA IN A NUTSHELL Was ist Kibana • Web-Interface für Elasticsearch/Logstash • konfigurierbare und wiederverwendbare Dashboards Was kann man mit Kibana machen • System- / Performance Monitoring • Sentiment Analyse • …
  • 19. Herunterladen & entpacken Konfigurieren Webserver installieren Deploy in einem Webserver 1 2 3 … elasticsearch: „http://localhost:9200“, … 4 SETUP
  • 20. ÜBER DEN TELLERRAND Elasticsearch Cluster Monitoring • RealTime Cluster Status • Hardware Monitoring • Historische Fehleranalyse
  • 21. ÜBER DEN TELLERRAND - SOLR Logstash4Solr • Logstash Output Solr • Vorgefertigte Konfiguration für Solr Kibana4Solr • „Translator“ für Elasticsearch DSL • Slides Lucene/Solr Revolution 2014 http://de.slideshare.net/lucenerevolution/2013- dublin-kibana4solr
  • 22. SETUP Demonstration - Trend-Analyse http://www.infochimps.com/datasets/projected-online-retail-sales-2006- to-2011
  • 23. Q & A
  • 24. KONTAKT SHI GmbH & Co. KG Curt-Frenzel-Str. 12 D - 86167 Augsburg info@shi-gmbh.com +49.821.74 82 633 - 0 @SHIEngineers Michael Marheineke Markus Klose Daniel Wrigley
  • 25. WEITERFÜHRENDE INFOS SHI Blog: www.shi-gmbh.com/blog Elasticsearch: www.elasticsearch.org & www.elasticsearch.com Elasticsearch Resources: http://www.elasticsearch.org/resources/ Download Elasticsearch/Logstash/Kibana: http://www.elasticsearch.org/overview/elkdownloads/ Monitoring Elasticsearch – Marvel: http://www.elasticsearch.com/marvel LucidWorks: http://www.lucidworks.com/support-services/
  • 26. BILDERNACHWEIS Amazon Error - http://geekswithblogs.net/MainaD/archive/2008/06/06/122674.aspx Öl Pumpstation - http://www.flickr.com/photos/paul_lowry/2770193028/ Lord Of The Ring - http://www.flickr.com/photos/cosmic_bandita/2218419160/sizes/l/

Hinweis der Redaktion

  1. Betreiben Sie Analytics? (Ja/Nein) Was für eine Analyse betreiben Sie (Performance/LogFile/User Verhalten/Relevanz Analyse/Sontiges) Bedarf an kibana4solr
  2. Deutsche Folien?
  3. Analyse/ Monitoring Service-Levels zu verbessern IT-Betriebskosten zu reduzieren Sicherheitsrisiken zu verringern Transparenz betrieblicher Prozesse erhöhen
  4. Datenströme kommen überall her, - logs - click events auf websites -
  5. Nagios Netzwerk Monitoring Splunk Graylog2 Syslog-ng Log Auswertung Cloudera??? logstash
  6. http://www.elasticsearch.org/videos/ http://www.elasticsearch.org/webinars/introduction-to-logstash/ http://www.elasticsearch.org/videos/make-sense-of-your-big-data/ Ein Tool um unterschiedlischste Daten (technische Infos & Business Infos) miteinander in Verbindung zu bringen (herr der ringe)
  7. What is ES Document oriented search engine JSON based, Apache Lucene Schema Free Yet enables control of it when needed Distributed Scales Up+Out, Highly Available Multi-tenancy Dynamically create/delete indices API centric Most functionality is exposed through an API What can i do ! Unstructured Search Find all companies in the ‘search’ domain Structured Search Find all companies founded between 2010 and 2012 Facets Return the average annual revenue for all companies Combine Return the average annual revenue for all companies founded between 2010 and 2012 in the ‘search’ domain All in (near) Realtime
  8. diverse Uis - head -
  9. Download: http://logstash.net/ Unzip Create config file java -jar logstash-1.3.3-flatjar.jar agent -f logstash.conf http://localhost:9292/index.html
  10. Seamless integration with Logstash, Apache Flume, Fluentd and others
  11. Download: http://logstash.net/ Unzip Create config file java -jar logstash-1.3.3-flatjar.jar agent -f logstash.conf
  12. Wenn Interesse an Fortsetzungen bzw. bestimmten verwandten Themen besteht, können Sie uns gerne schreiben. Es ist durchaus möglich, dass es ein weiteres Webinar aus dieser Reihe gibt. Wir verfolgen Ideen von Zuhörern natürlich gerne weiter, denn dort wissen wir schon sicher von Interessenten. Wenn es Themen gibt, die eher technischer Natur sind und arg in die Tiefe gehen, kann es sein, dass "nur" ein Blog-Beitrag veröffentlicht wird.