My PuppetCamp Dusseldorf talk. Monitoring (with) Puppet, Icinga, Collectd and Graphite

1. MMoonniittoorriinngg ((wwiitthh)) PPuuppppeett
PuppetCamp Dusseldorf
@KrisBuytaert

2. KKrriiss BBuuyyttaaeerrtt
● II uusseedd ttoo bbee aa DDeevv,,
● TThheenn BBeeccaammee aann OOpp
● CChhiieeff TTrroolllliinngg OOffffiicceerr aanndd OOppeenn SSoouurrccee
CCoonnssuullttaanntt @@iinnuuiittss..eeuu
● EEvveerryytthhiinngg iiss aann eeffffiinngg DDNNSS PPrroobblleemm
● BBuuiillddiinngg CClloouuddss ssiinnccee bbeeffoorree tthhee bbooookkssttoorree
● OOrrggaanniissiinngg ttoooo mmaannyy ccoonnffss ,, ##ddeevvooppssddaayyss,,
##llooaaddaayyss,, ......
● EEvvaannggeelliizziinngg ddeevvooppss

3. Do you know what your cchhiillddrreenn ddoo aatt 55 aamm
iinn tthhee mmoorrnniinngg ??
● SSlleeeeppiinngg ??
● CCrraasshhiinngg aa PPaarrttyy ??
● WWhhyy aarree tthhee ccooppss aatt yyoouurr ffrroonntt ddoooorr ??
● WWhhaatt hhaappppeenneedd ??
● HHooww lloonngg hhaavvee tthheeyy bbeeeenn ggoonnee ??

4. ddeevvooppss == ccllaammss
● CCuullttuurree
● ((LLeeaann))
● AAuuttoommaattee aallll tthhee tthhiinnggss ......
• BBuuiilldd AAuuttoommaattiioonn
• TTeesstt AAuuttoommaattiioonn
• IIAACC
● MMoonniittoorriinngg ,, MMeettrriiccss ......
● SShhaarriinngg

5. MMoonniittoorriinngg iiss uussuuaallllyy aann
aafftteerrttoouugghhtt
EENNOOBBUUDDGGEETT,, EENNOOTTIIMMEE

6. ##mmoonniittoorriinnggssuucckkss
● JJoohhnn VViinncceenntt ((@@lluussiiss))
● AA ssuubb mmoovveemmeenntt
● hhttttppss::////ggiitthhuubb..ccoomm//mmoonniittoorriinnggssuucckkss//

7. ##mmoonniittoorriinngglloovvee
• ##mmoonniittoorriinngglloovvee hhaacckksseessssiioonnss
• ##mmoonniittoorraammaa

8. For years wwee''vvee ttoolleerraatteedd hhuummaannss ttoo
ttoo mmaakkee ssttrruuccttuurraall mmaannuuaall cchhaannggeess ttoo
tthhee iinnffrraassttrruuccttuurree oouurr ccrriittiiccaall
aapppplliiccaattiioonnss aarree rruunnnniinngg oonn..
WWhhiillsstt aatt tthhee ssaammee ttiimmee ddeemmaannddiinngg
tthhoossee ccrriittiiccaall aapppplliiccaattiioonnss ttoo ggoo ttrroouugghh
rriiggiidd tteesstt sscceennaarriiooss..
WWhhoo lleett tthhiiss hhaappppeenn ??

9. IInnffrraassttrruuccttuurree aass CCooddee
●MMooddeell oouurr iinnffrraassttrruuccttuurree
● AA ffaasstt rreepprroodduuccaabbllee ppllaattffoorrmm
● DDiissaasstteerr ddiissccoovveerryy ffoorr ““ffrreeee””

10. IInnffrraassttrruuccttuurree aass CCooddee
● CCooddee == CCooddee
● VVeerrssiioonn CCoonnttrrooll
●QQuuaalliittyy CChheecckkss
● TTeessttiinngg
● CCoonnttiinnuuoouuss IInntteeggrraattiioonn
● CCoonnttiinnoouuss DDeelliivveerryy

11. IInnffrraassttrruuccttuurree aass CCooddee
● CCoorree IInnffrraassttrruuccttuurree
●MMiiddddlleewwaarree ddeeppllooyymmeenntt aanndd
iinntteeggrraattiioonn
● AAuuttoommaatteedd ccoonnttiinnuuoouuss aapppplliiccaattiioonn
ddeeppllooyymmeenntt
● IInntteeggrraatteedd SSeeccuurriittyy eennffoorrcceemmeenntt
● HHoosstt,, SSeerrvviiccee aanndd AApppplliiccaattiioonn
MMoonniittoorriinngg ccoonnffiigguurreedd

12. WWhhyy ##mmoonniittoorriinnggssuucckkss
●MMaannuuaall ccoonnffiigg ((gguuii))
● NNoott iinn ssyynncc wwiitthh rreeaalliittyy
● HHoossttss oonnllyy
● SSeerrvviicceess ssoommeettiimmeess
● AApppplliiccccaattiioonn nneevveerr
● CChhaaooss

13. BBuutt ttoooollss ddoo AAuuttooddeetteeccttiioonn
• RReeaallllyy ??
• SSeerrvviiccee,,
• FFuunnccttiioonnaalliittiieess
• eegg.. vvhhoossttss eettcc
• SSiinnggllee SSoouurrccee ooff TTrruutthh

14. MMoonniittoorriinngg 110011
● DDeeppllooyy aa hhoosstt,,
● AAdddd iitt ttoo tthhee mmoonniittoorriinngg
● AAdddd ccoolllleeccttiioonn ttoooollss
● AAdddd cchheecckk ddeeffiinniittiioonnss
● UUppddaattee tthhee mmoonniittoorriinngg ttooooll ccoonnffiigg
● RReessttaarrtt

15. CCoolllleecctt MMeettrriiccss 110011

16. CCoolllleeccttdd
● CCoolllleeccttss
● ZZiilllliioonn PPlluuggiinnss
• NNggiinnxx,,aappaacchhee,, mmyyssqqll,, ddiisskk
●GGrraapphhiittee CCaarrbboonn PPlluuggiinn
● SSeenndd mmeettrriiccss ttoo ggrraapphhiittee
● hhttttppss::////ggiitthhuubb..ccoomm//KKrriissBBuuyyttaaeerrtt//ppuupp
ppeett--ccoolllleeccttdd

17. PPuuppppeett aanndd GGrraapphhiittee
● hhttttppss::////ggiitthhuubb..ccoomm//KKrriissBBuuyyttaaeerrtt//vvaaggrraanntt--ggrraapphhiittee//
● IInncclluuddeess GGrraapphhiittee // GGddaasshh // JJmmxxttrraannss // LLooggsstteerr // CCoolllleeccttdd //
SSttaattssdd // TTaattttllee aanndd mmoorree mmoodduulleess aass ssuubbmmoodduulleess !!
● ggiitt cclloonnee
● ggiitt ssuubbmmoodduullee iinniitt
● ggiitt ssuubbmmoodduullee uuppddaattee
● vvaaggrraanntt uupp

18. 22001144 ssttyyllee ddaasshhbbooaarrddss

19. AAlleerrttiinngg 110011

20. AAlleerrtt aallll tthhee tthhiinnggss
AAnndd ggeett aalleerrttffaattiigguuee
●WWee aarree iinn GGeerrmmaannyy,, EEuurrooppee
● IItt nneeeeddss ttoo bbee ccoonnffiigguurraabbllee
==>> IIcciinnggaa

21. BBuutt MMoonniittoorriinngg ccoonnffiigg iiss
DDaattaa ??
● IIff iitt ccaann bbee ggeenneerraatteedd iitt''ss nnoott uusseerr
ggeenneerraatteedd ccoonntteenntt aannyymmoorree
● YYoouurr ccoommppuutteerr ccaann ggeenneerraattee yyoouurr
ccoonnffiigg !!

22. SSttoorreedd CCoonnffiiggss

23. CCoolllleeccttiioonn aanndd EExxppoorrtt
EExxppoorrtt ::
@@@@rreessoouurrccee {{
...... }}
CCoolllleecctt::
RReessoouurrccee <<<<||
qquueerryy ||>>>>
CClleeaann oouutt nnooddeess tthhaatt ddiissssaappeeaarr
ppuuppppeett nnooddee cclleeaann

24. EExxppoorrttiinngg aanndd CCoolllleeccttiinngg

25. DDeeffaauulltt PPuuppppeett
TTyyppeess

26. PPuuppppeett--iicciinnggaa mmoodduullee
● hhttttppss::////ggiitthhuubb..ccoomm//iinnuuiittss//ppuuppppeett--
iicciinnggaa

27. MMoonniittoorriinngg aa VVhhoosstt

28. AAlltteerrnnaattiivvee AApppprrooaacchheess
● hhttttppss::////ggiisstt..ggiitthhuubb..ccoomm//jjffrryymmaann//55880088553377
● hhttttppss::////ggiitthhuubb..ccoomm//ffaavvoorreettttii//ppuuppppeettdd
bb--eexxtteerrnnaall--nnaaggiinnaattoorr

29. ● DDeeppllooyy aa nneeww aapppp
● AAdddd mmoonniittoorriinngg
● AAdddd RReeaall aapppplliiccaattiioonn mmoonniittoorriinngg
● BBootthh oonn iinnffrraa aanndd oonn aapppp lleevveell

30. MMoonniittoorriinngg PPuuppppeett && FFrriieennddss

31. PPuuppppeett RRuunnss

32. PPuuppppeettMMaasstteerr

33. PPuuppppeettMMaasstteerr
@@@@nnaaggiiooss__sseerrvviiccee{{""cchheecckk__ssoocckkeett__8814400__ppuuppppeett__$${{::::ffqqddnn}}""::
cchheecckk__ccoommmmaanndd ==>> ''cchheecckk__ttccpp!!8814400'',,
sseerrvviiccee__ddeessccrriippttiioonn ==>> ''TTCCPP ppuuppppeett oonn ppoorrtt 8814400'',,
hhoosstt__nnaammee ==>> $$::::ffqqddnn,,
uussee ==>> ''ggeenneerriicc--sseerrvviiccee'',,
ccoonnttaacctt__ggrroouuppss ==>> $$::::eennvviirroonnmmeenntt,,
nnoottiiffiiccaattiioonn__ppeerriioodd ==>> $$::::iicciinnggaa::::nnoottiiffiiccaattiioonn__ppeerriioodd,,
nnoottiiffiiccaattiioonnss__eennaabblleedd ==>> $$::::iicciinnggaa::::nnoottiiffiiccaattiioonnss__eennaabblleedd,,
ttaarrggeett ==>> ""//eettcc//iicciinnggaa//oobbjjeeccttss//sseerrvviicceess//$${{::::ffqqddnn}}..ccffgg"",,
}}

34. PPuuppppeettDDBB

35. PPuuppppeettDDBB((22))
● cchheecckk__ppuuppppeettddbb__mmeemmoorryy
• JJaavvaa hheeaapp mmeemmoorryy
● cchheecckk__ppuuppppeettddbb__pprroocceesssseedd
• NNrr ooff rreeppoorrttss pprroocceesssseedd
● cchheecckk__ppuuppppeettddbb__ppooppuullaattiioonnss
• RReessoouurrcceess,, nnooddeess,, rreessoouurrcceess ppeerr nnooddee
● cchheecckk__ppuuppppeettddbb__qquueeuuee
• IIss ppggssqqll ddoowwnn ?? ::))

36. PPuuppppeett DDaasshhbbooaarrdd
@@@@nnaaggiiooss__sseerrvviiccee{{""cchheecckk__hhttttpp__ppuuppppeett__ddaasshhbbooaarrdd__$${{::::ffqqddnn}}""::
cchheecckk__ccoommmmaanndd ==>> ""cchheecckk__hhttttpp!!--HH $${{::::ffqqddnn}} --pp 33000000 --ee 220000"",,
sseerrvviiccee__ddeessccrriippttiioonn ==>> ''HHTTTTPP PPuuppppeettDDaasshhbbooaarrdd oonn ppoorrtt 33000000'',,
hhoosstt__nnaammee ==>> $$::::ffqqddnn,,
uussee ==>> ''ggeenneerriicc--sseerrvviiccee'',,
ccoonnttaacctt__ggrroouuppss ==>> $$::::eennvviirroonnmmeenntt,,
nnoottiiffiiccaattiioonn__ppeerriioodd ==>> $$::::iicciinnggaa::::nnoottiiffiiccaattiioonn__ppeerriioodd,,
nnoottiiffiiccaattiioonnss__eennaabblleedd ==>> $$::::iicciinnggaa::::nnoottiiffiiccaattiioonnss__eennaabblleedd,,
ttaarrggeett ==>> ""//eettcc//iicciinnggaa//oobbjjeeccttss//sseerrvviicceess//$${{::::ffqqddnn}}..ccffgg"",,
}}

37. PPuuppppeett
DDaasshhbbooaarrdd((22))
//uussrr//sshhaarree//ppuuppppeett--ddaasshhbbooaarrdd//ssppooooll

38. ##MMoonniittoorriinnggSSuucckkss
● PPuuppppeettrruunnss bbrreeaakk oouurr IIcciinnggaa bbooxxeenn
● BBaaddllyy
● FFrreeqquueennttllyy

39. IItt aaiinn''tt bboorrkkeenn
● SSuucccceessssffuull ppuuppppeett rruunn
● SSuucccceessssffuull IIcciinnggaa rreeccoonnffiigguurree
● DDiisskk uussaaggee ggrroowwss
● FFaasstt

40. BBee aawwaarree ooff bbuucckkeettss

41. AA PPuuppppeett BBuugg

42. TTrriiggggeerrss oonn GGrraapphhss
● EExxppoorrtt JJaavvaa MMeettrriiccss
● JJMMXXTTrraannss
● EExxppoorrtt JJMMXXCCoonnffiiggss
● CCoonnffiigguurree NNRRPPEE
CChheecckk
● EExxppoorrtt NNaaggiioossCChheecckk
● CCoolllleecctt JJMMXX EExxppoorrttss
oonn JJMMXXTTrraannssNNooddee
● GGrraapphh EEmm
CCoolllleecctt NNaaggiiooss
CCoonnffiiggss oonn NNaaggiiooss
SSeerrvveerr

43. TTrriiggggeerrss oonn GGrraapphhss

44. TTrriiggggeerrss oonn GGrraapphhss

45. SSuummmmaarryy
● HHoonnoouurr yyoouurr ppaarreennttss
● DDoonn''tt mmaannuuaallllyy ddoo wwhhaatt mmaacchhiinneess
ccaann ddoo ffoorr yyoouu
●MMoonniittoorr yyoouurr ppuuppppeett iinnffrraassttrruuccttuurree
ttoooo !!
● SSeenndd PPuullll RReeqquueessttss
● IIcciinnggaa22 mmoodduullee iinn tthhee wwoorrkkss

46. CCoonnttaacctt
KKrriiss..BBuuyyttaaeerrtt@@iinnuuiittss..eeuu
FFuurrtthheerr RReeaaddiinngg
@@kkrriissbbuuyyttaaeerrtt
hhttttpp::////wwwwww..kkrriissbbuuyyttaaeerrtt..bbee//bblloogg//
hhttttpp::////wwwwww..iinnuuiittss..eeuu//
IInnuuiittss
DDuubbooiissttrraaaatt 5500
22006600 AAnnttwweerrppeenn
BBeellggiiuumm
889911..551144..223311
++3322 447755 996611222211