SNMP und Prometheus sind mittlerweile ein eingespieltes Team wenn es um das einsammlen von Metriken via SNMP geht. Doch vor den bunten Dashboards steht die Herausforderung für jedes Device den passende Satz an Metriken bzw. OID zu finden. Bei einem Mix aus den unterschiedlichsten Herstellern mit jeweils verschiedenen Produkten keine leichte Aufgabe. In diesem Vortrag zeige ich, wie mittels eines SNMP discovery die interessanten OIDs ermittelt und alle für Prometheus notwendigen Konfigurationen anschließend automatisiert erzeugt und deployed werden können.

2. ConSol Consulting & Solutions Software GmbH
Prometheus
Sohn des Titanen Lapetos
2

3. ConSol Consulting & Solutions Software GmbH
Prometheus
Timeseries basierter Metriken
Sammler
3

4. ConSol Consulting & Solutions Software GmbH
Prometheus Timeseries
<metric name> {<label name>=<label value>, …} <
fl
oat64>
4
Audience { conference="OSMC", room=„Jacobi" } 100
Audience { conference="OSMC", room=„Elisabeth" } 50

5. ConSol Consulting & Solutions Software GmbH
SNMPWALK
5
Text im float64 !?!
IF-MIB::ifIndex.1 = INTEGER: 1
IF-MIB::ifHCInOctets.1 = Counter64: 22012663790
IF-MIB::ifHCOutOctets.1 = Counter64: 40461537447
IF-MIB::ifSpeed.1 = Gauge32: 1000000000
IF-MIB::ifAdminStatus.1 = INTEGER: up(1)
IF-MIB::ifOperStatus.1 = INTEGER: up(1)
IF-MIB::ifName.1 = STRING: Gi0/0
IF-MIB::ifAlias.1 = STRING: OSMC Port
IF-MIB::ifDescr.1 = STRING: GigabitEthernet0/0

6. ConSol Consulting & Solutions Software GmbH
SNMP Exporter generator
modules:
MyInterfaces:
walk: [sysUpTime, interfaces, ifXTable]
lookups:
- source_indexes: [ifIndex]
lookup: 1.3.6.1.2.1.31.1.1.1.1 # ifName
- source_indexes: [ifIndex]
lookup: 1.3.6.1.2.1.2.2.1.2 # ifAlias
overrides:
ifAdminStatus:
type: EnumAsInfo
6

7. ConSol Consulting & Solutions Software GmbH
SNMP result mapped to Prometheus
ifHCInOctets{instance=Switch01, ifIndex="1", ifName="Gi0/0", ifAlias="OSMC port"} 22012707668
ifHCOutOctets{instance=Switch01, ifIndex="1", ifName="Gi0/0", ifAlias="OSMC port"} 40461803968
ifSpeed{instance=Switch01, ifIndex="1", ifName="Gi0/0", ifAlias="OSMC port"} 1000000000
ifAdminStatus{instance=Switch01, ifIndex="1", ifName="Gi0/0", ifAlias="OSMC port“, ifAdminStatus="up"} 1
ifOperStatus{instance=Switch01, ifIndex="1", ifName="Gi0/0", ifAlias="OSMC port"} 1
7

8. ConSol Consulting & Solutions Software GmbH
Problem
Jede Kombination aus OID bzw. MIB verlangt ein eigenes Modul
CISCO-PROCESS-MIB vs. CISCO-OLD-CPU-MIB
L3 Switches ohne Routing
Unterschiedliche UPS / USV Konfigurationen
8

9. ConSol Consulting & Solutions Software GmbH
Lösung
Einzelnen Module automatisch kombinieren
9

10. ConSol Consulting & Solutions Software GmbH
Welche Module verwenden ?
10
Kollektor
SNMP Devices
CMDB
Extra DB
( MySql )
SNMP Devices
SNMP Devices
SNMP Devices

11. ConSol Consulting & Solutions Software GmbH
Kollektor Konfiguration
OIDS = {
'cisco': {
'CISCO-PROCESS-MIB': [
['cpmCPUTotalTable', 'cisco-process-mib'],
['cpmCPUHistory', 'cisco-process-mib'],
],
'OLD-CISCO-CPU-MIB': [
['avgBusy1', 'old-cisco-cpu-mib-avgbusy1'],
],
'CISCO-MEMORY-POOL-MIB': [
['ciscoMemoryPoolTable', 'cisco-memory-pool-mib'],
],
},
}
BETTERTHAN = {
'OLD-CISCO-CPU-MIB': {
'avgBusy1': ['CISCO-PROCESS-MIB', 'cpmCPUTotalTable'],
},
}
11

12. A Little Longer
Than A
Few Minutes Later

13. ConSol Consulting & Solutions Software GmbH
Die lokalen inventory / Extra DB
13
Host Type Module OID SNMP MIB Use Last Scann
Switch01 ip switch cisco cisco ws-c3850-48p-s CISCO-PROCESS-MIB cpmCPUTotalTable cisco-process-mib 1
2021-11-03
07:27:33
Switch01 ip switch cisco cisco ws-c3850-48p-s OLD-CISCO-CPU-MIB avgBusy1
old-cisco-cpu-mib-
avgbusy1
0
2021-11-03
07:27:33
Switch01 ip switch cisco cisco ws-c3850-48p-s CISCO-MEMORY-POOL-MIB ciscoMemoryPoolTable cisco-memory-pool-mib 1
2021-11-03
07:27:33

14. ConSol Consulting & Solutions Software GmbH
Coshsh, gesprochen ʦɔʃ:
Ein Python framework zum Regel
basierten erstellen von Monitoring
Konfigurationen
14

15. ConSol Consulting & Solutions Software GmbH
Coshsh workflow
15
CMDB
SNMP Devices
Prometheus
Scrape conf
Extra DB
( MySql )
Datasource
Datarecipient
Coshsh
Kollektor
SNMP Exporter
SNMP Exporter
Generator

16. ConSol Consulting & Solutions Software GmbH
SNMP Exporter Module
modules:
modul_name:
walk:
- < OIDs >
lookups:
- source_indexes: [<OID>]
lookup: <OID>
overrides:
- < Metrik >
16

17. ConSol Consulting & Solutions Software GmbH
SNMP Exporter Module
Module:
cisco-memory-pool-mib:
walk:
- ciscoMemoryPoolTable
cisco-process-mib:
walk:
- cpmCPUTotalTable
- entPhysicalTable
lookups:
- source_indexes: [cpmCPUTotalPhysicalIndex]
lookup: entPhysicalName
17

18. ConSol Consulting & Solutions Software GmbH
SNMP Exporter Module
Module:
cisco-memory-pool-mib__cisco-process-mib:
walk:
- ciscoMemoryPoolTable
- cpmCPUTotalTable
- entPhysicalTable
lookups:
- source_indexes: [cpmCPUTotalPhysicalIndex]
lookup: entPhysicalName
18

20. ConSol Consulting & Solutions Software GmbH
• OMD hat alles was benötigt wird on board
• Coshsh
• MySQL
• prometheus (snmp_exporter bereits gepatched)
• Victoriametrics
• Grafana
• Alles in einer OMD Site !
20

21. Vielen Dank!

22. ConSol
Consulting & Solutions Software GmbH
St.-Cajetan-Straße 43
D-81669 München
Tel.: +49-89-45841-100
info@consol.de
www.consol.de
Twitter: @consol_de