One of the most important tasks that a cloud operator needs to focus on, after deployment, is effective monitoring. But what are the best tools to use and what metrics should be tracked to ensure a healthy OpenStack cloud? In this webinar, Platform9's engineering team talks about how Platform9 monitor our customers’ clouds and the lessons learned from being in the trenches of deploying OpenStack in production. Focus areas covered during this webinar: 1. State of the union on OpenStack monitoring 2. Tools we use for monitoring: Server Density, Slack, VictorOps and PaperTrail 3. Lessons learned on how and what to monitor

1. M O N I T O R I N G Y O U R
O P E N S TA C K C L O U D
@ H U I _ K E N N E T H
@ H A R R I S O N PA G E
@ R A H U LV S D

2. © 2015 Platform9 Systems, Inc. @Platform9Sys
Kenneth Hui
• Director of Technical Marketing at Platform9
• Previously: EMC, Rackspace, VCE
• OpenStack Ambassador, VMware vExpert
Harrison Page
• Software Engineer
• Previously: Netscape, Disney, Loot Drop
• Devops, Security, Release
@ H U I _ K E N N E T H
@ H A R R I S O N PA G E
Speaker Bio

3. © 2015 Platform9 Systems, Inc.
Platform9 Managed
OpenStack:
• Your servers host your data
• Platform9 hosts the
OpenStack controller as a
Service, with an SLA
• No need to install, monitor,
troubleshoot or upgrade
OpenStack
Platform9 Managed OpenStack

4. M O N I T O R I N G 1 0 1
C U R R E N T S TAT E O F O P E N S TA C K M O N I T O R I N G
M O N I T O R I N G O P E N S TA C K @ P L AT F O R M 9 S Y S
W H AT W E M O N I T O R
H O W W E M O N I T O R T O D AY
F U T U R E P L A N S
O U R W I S H L I S T

5. M O N I T O R I N G 1 0 1
A L E RT I N G O N W H AT M AT T E R S

6. W H AT I S M O N I T O R I N G ?
A S Y S T E M AT I C P R O C E S S O F
C O L L E C T I N G , A N A LY Z I N G ,
A N D U S I N G D ATA T O T R A C K
T H E H E A LT H O F C O M P L E X
S Y S T E M S

7. W H AT T Y P E O F D ATA S H O U L D B E M O N I T O R E D ?
• FA I L U R E S
• E R R O R C O N D I T I O N S
• A N O M A L I E S
• P E R F O R M A N C E
• L O G S
W H Y M O N I T O R I N G ?
• T R O U B L E S H O O T I N G
• P R E E M P T I O N
• C A PA C I T Y P L A N N I N G
• A U D I T

8. C U R R E N T S TAT E O F
O P E N S TA C K M O N I T O R I N G

9. N O O F F I C I A L M O N I T O R I N G - A S - A - S E R V I C E P R O J E C T
C E I L O M E T E R F O R T E L E M E T RY D E S I G N E D F O R M E T E R I N G
N O T M O N I T O R I N G
( P R I M A R I LY A D ATA U S A G E C O L L E C T O R )
“ W E D O N ’ T S E E C E I L O M E T E R A S A N O P E R AT O R T O O L . W E S E E I T
A S A T E N A N T M O N I T O R I N G S E R V I C E ”
“ S E E M S V E RY U N S TA B L E F O R V E RY L A R G E D E P L O Y M E N T S . ”
M O S T P O P U L A R M O N I T O R I N G T O O L S A R E C U S T O M
N A G I O S
Z A B B I X
G R A P H I T E
E L K S TA C K ( E L A S T I C S E A R C H / L O G S TA S H / K I B A N A )

10. T H E M O N A S C A P R O J E C T
H T T P S : / / W I K I . O P E N S TA C K . O R G / W I K I / M O N A S C A

12. T H I N G S W E M O N I T O R
S E R V E R S
P R O D U C T I O N , D E V E L O P M E N T
F L AV O R S
I N - H O U S E B A R E M E TA L , C L O U D I N S TA N C E S
S E R V I C E S
O P E N S TA C K , P L AT F O R M 9
I S T H E C U S T O M E R D E L I G H T E D ?
S Y S T E M S TAT S
L O A D AV E R A G E , M E M O RY U S A G E ,
A C T I V E U S E R S , S E R V E R S E C U R I T Y,
D ATA B A S E A C T I V I T Y, N E T W O R K I / O
D I S K U S A G E , C P U T E M P E R AT U R E

13. A N A L E RT S H O U L D B E . . .
A C T I O N A B L E
I M P O RTA N T
T O O M A N Y A L E RT S . . .
A N N O Y S P E O P L E
C A U S E S A L E RT B L I N D N E S S
T U N I N G I S O N - G O I N G

14. Webhook
VictorOps
HTTPS
Platform9 Monitoring
logstash-forwarder
collectd
Slack
Webhook
remote_syslog2
Webhook
REST
ServerDensity
Webhook
ServerDensityAgent

15. W H AT W E M O N I T O R
P L AT F O R M 9 M O N I T O R I N G F E AT U R E S
A L E RT O N S L O W Q U E R I E S
C O U N T # O F A C T I V E U S E R S
C O U N T S O F H O S T S , I N S TA N C E S O V E R T I M E
O P E N S TA C K E V E N T S
L O G M E S S A G E S
E X C E P T I O N S , C R I T I C A L L O G M E S S A G E S , E R R O R S
P L AT F O R M 9 WAT C H D O G
M O N I T O R P R O C E S S E S , R E S TA RT T H E M ,
C O M P L A I N

16. H O W W E M O N I T O R
M O N I T O R I N G O N T H E S E R V E R
D A E M O N S L I S T E N I N G F O R E V E N T S
S C R I P T S C A L L E D F R O M C R O N
E X T E R N A L M O N I T O R I N G
T E S T I N G H T T P S A N D R E S T A P I S R E M O T E LY
C U S T O M T O O L C H E C K S O P E N S TA C K A P I
T E S T S I N C L U D E
G E T T O K E N F R O M K E Y S T O N E
M A K E R E Q U E S T S T O N O VA , G L A N C E , C I N D E R
S I M I L A R R E Q U E S T S T O P L AT F O R M 9 S E R V I C E S

17. P R O B L E M S C A U G H T
- D I S C O N N E C T E D H O S T S W I L L P I L E U P M E S S A G E S
I N R A B B I T M Q , W E W R O T E A T O O L T O WAT C H
F O R " S T U C K " M E S S A G E S
- A M A Z O N A P I S O M E T I M E S R E F U S E S R E Q U E S T S ,
A N Y I N T E R A C T I O N S M U S T R E T RY
A N D G R A C E F U L LY FA I L
- K E Y S T O N E L E A K I N G F I L E D E S C R I P T O R S I N
O P E N S TA C K H AVA N A R E L E A S E
- L I N U X K I L L S P R O C E S S E S W H E N M E M O RY I S
L O W, C R E AT E D P F 9 - WAT C H D O G T O O L T O
R E S TA RT S E R V I C E S A N D N O T I F Y U S
- A M A Z O N L I K E S T O T E R M I N AT E I N S TA N C E S
F O R N O G O O D R E A S O N
- T E M P O R A RY FA I L U R E S O N O U R L O C A L N E T W O R K
H AV E F O O L E D U S I N T O T H I N K I N G P R O D U C T I O N
S E R V E R S W E R E D O W N

18. T H E T O O L S
W E U S E

19. W E ♥ V I C T O R O P S
S E N D A L E RT S V I A W E B H O O K
C O N TA C T M E T H O D S E X A M P L E
1 . S E N D A S L A C K M E S S A G E
2 . S E N D P U S H N O T I F I C AT I O N
3 . C A L L M E

20. V I C T O R O P S ( C O N T. )
U S E D F O R D E V O P S A L E RT S
O T H E R U S E S I N C L U D E
I N C O M I N G S U P P O RT R E Q U E S T S
N E W S A L E S R E Q U E S T S
W E M A K E H E AV Y U S E O F V I C T O R O P S '
T R A N S M O G R I F I E R T O M O D I F Y A N D
R O U T E I N C O M I N G R E Q U E S T S

21. S E R V E R D E N S I T Y
I N S TA L L S A N O P E N - S O U R C E A G E N T O N O U R S E R V E R S
C O M P L A I N S I F C O N TA C T I S L O S T
U I C A N B E S C R I P T E D U S I N G T H E A P I
A U T O M AT E D I N S TA L L V I A B A S H / C U R L
O R A N S I B L E O R S A LT
F O U N D E R O F S E R V E R D E N S I T Y I S D AV I D M Y T T O N
( S U P E R N I C E G U Y )

22. PA P E RT R A I L
O P E N S O U R C E A G E N T C A L L E D R E M O T E _ S Y S L O G 2
WAT C H E S A B O U T 3 0 L O G F I L E S
S AV E D S E A R C H E S P U S H
I N T E R E S T I N G E V E N T S T O S L A C K C H A N N E L S
N A M E D F O R T H E C O M P O N E N T:
# N O VA , # K E Y S T O N E , E T C .
E X P E N S I V E T O R E TA I N L O G S O V E R A L O N G P E R I O D
L I V E " TA I L " A C R O S S H O S T S , L O G F I L E S

23. S I G N A L F X
R E S P O N S I V E V I S U A L I Z AT I O N T O O L S
S I T S AT O P T I M E - S E R I E S D ATA B A S E
U P D AT E S S E N T V I A R E S T A P I
I N T E G R AT E S W I T H C O L L E C T D , A M A Z O N AW S
C L E A N , C U S T O M D A S H B O A R D S
A B I L I T Y T O " Z O O M I N " O N A S I N G L E C U S T O M E R
P O W E R F U L T O O L F O R T R O U B L E S H O O T I N G B U T A L S O F O R
S A L E S A N D M A R K E T I N G

24. S L A C K A N D P L AT F O R M 9 :
C O M PA N Y- W I D E A D O P T I O N
I N T E R E S T I N G L O G M E S S A G E S R O U T E D T O C H A N N E L S
N A M E D F O R T H E S E R V I C E E . G . # N O VA , # K E Y S T O N E
W E B H O O K I N T E G R AT I O N
P L AT F O R M 9 M O N I T O R I N G , V I C T O R O P S ,
S E R V E R D E N S I T Y, PA P E RT R A I L ,
M A I L C H I M P, J I R A , T W I T T E R ,
T E A M C I T Y, M E R A K I , Z E N D E S K , . . .
C U S T O M S M T P S E R V E R R O U T E S E - M A I L F R O M L E G A C Y
A P P L I C AT I O N S I N T O S L A C K

25. A M O N I T O R I N G W I S H L I S T
R E G U L A R E X P R E S S I O N S F O R L O C AT I N G
I N T E R E S T I N G L O G M E S S A G E S
" S N O O Z E " B U T T O N
T E M P O R A R I LY S U P P R E S S S O M E A L E RT S
" M U T E " B U T T O N
S I L E N C E S O M E A L E RT S
D A S H B O A R D S H O W I N G A G G R E G AT E O F A L E RT S
T R E N D R E P O RT I N G F O R U S A G E A N D E R R O R S
E X P E R I M E N T I N G W I T H O P E N S TA C K P L U G I N S
F O R C O L L E C T D

26. F U T U R E P L A N S !
C O N T E M P L AT I N G E L K S TA C K
E L A S T I C S E A R C H
L O G S TA S H
K I B A N A
S T I L L E VA L U AT I N G C O S T /
E N E R G Y R E Q U I R E D T O H O S T
O U R S E LV E S V S
PAY I N G F O R A S E R V I C E
I T ' S A L L F U N A N D G A M E S
U N T I L Y O U H AV E T O R E S T O R E
F R O M B A C K U P AT 4 : 0 0 A M

27. M O R E I N F O :
W W W. P L AT F O R M 9 . C O M
T W I T T E R :
@ P L AT F O R M 9 S Y S
* * S H A M E L E S S P L U G * *
P L AT F O R M 9 I S H I R I N G
S O F T WA R E E N G I N E E R S
J O I N U S !

28. S E R V I C E S
S E R V E R D E N S I T Y. C O M
V I C T O R O P S . C O M
S L A C K . C O M
S I G N A L F X . C O M
PA P E RT R A I L A P P. C O M
S O F T WA R E
C O L L E C T D . O R G
E L A S T I C . C O
N A G I O S . O R G
Z A B B I X . C O M
D A S H I N G . I O
M O R E
W I K I . O P E N S TA C K . O R G /
W I K I / M O N A S C A
G I T H U B . C O M / PA P E RT R A I L /
R E M O T E _ S Y S L O G 2
G I T H U B . C O M / E L A S T I C /
L O G S TA S H - F O R WA R D E R
V I S U A L I Z AT I O N
G R A FA N A . O R G
E L A S T I C . C O / P R O D U C T S /
K I B A N A
G I T H U B . C O M /
G R A P H I T E - P R O J E C T

29. Q U E S T I O N S ?

30. M E E T T H E O P S G U R U . . .
F I R S T C O N TA C T F O R A L L A L E RT S
R O TAT I O N L A S T S 2 W E E K S
S H A R E D B Y E N G I N E E R I N G S TA F F
S A M E P E O P L E W H O W R I T E T H E C O D E A R E
M O N I T O R I N G O U R P R O D U C T I O N S E R V I C E S
W H O R E S P O N D S

31. H O W W E R E S P O N D
E S TA B L I S H A WA R R O O M
I N # O P S C H A N N E L
T R O U B L E S H O O T I N G !
T RY T O B A L A N C E
K N O W I N G W H Y
V S
R E S T O R I N G S E R V I C E
K E E P C O M PA N Y U P D AT E D
F I L E A N I N C I D E N T R E P O RT
U P D AT E T R O U B L E S H O O T I N G G U I D E
S C H E D U L E A P O S T M O RT E M