Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Elasticsearch meetup#2 @Viadeo - Viadeo

1.681 Aufrufe

Veröffentlicht am

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

Elasticsearch meetup#2 @Viadeo - Viadeo

  1. 1. Centralisation des logsflume-ng HBase Elasticsearch Kibana 3
  2. 2. Problématique● Problème de disponibilité et capacité limitée● Dispersion des données : SaaS, BI● Stockage inadapté : MySQL● Accès contraignant, problèmes de sécurité
  3. 3. ● Collecter les logs de manière centralisée● Stockage durable et évolutif● Les rendre accessibles● Initialiser la plate-forme Big data viadeoObjectifs
  4. 4. ApplicationserversDataWarehouseHDFSHBASEAnalytics Kibanaflume-ngSolrESsqoopPlan densembleflux continusimport récurrentsplate-forme de stockageapplications tierces
  5. 5. Mise en œuvre : Indexation● Rejouer n jours ou n minutes● Proche du temps réel● Idempotent● Sources et formats hétérogènes
  6. 6. Mise en œuvre : Indexation● Job MapReduce Hadoop natif● TransportClient embarqué● Indexation par lots● Une configuration logstash "classique"https://gist.github.com/deverton/2970285
  7. 7. Mise en œuvre : Métriques● 17 nœuds Hadoop mutualisés● 2 serveurs ES dédiés● 30 mappers● 260M / 3h de traitement pour 7 jours de logs● 340K / 30s de traitement pour 8 minutes de logs
  8. 8. Mise en œuvre : KibanaKibana 3 tombe à pic !● Maintenu au sein dElasticSearch● Très rapidement fonctionnel● Adaptable à des formats hétérogènes● Fabriqué avec AngularJS
  9. 9. Mise en œuvre : Kibana
  10. 10. Mise en œuvre : Kibana
  11. 11. Message subliminal : votez pour https://github.com/elasticsearch/elasticsearch/pull/2538 :)

×