Ceph Monitoring and operating

1. Ceph监控与运维
杨冠军

2. Ceph监控

3. Prometheus
• 开源的监控 & 报警 & 时间序列列数据库
• pull模式
• HTTP协议去采集metrics
• Ceph Mgr
• 原⽣生⽀支持prometheus插件，提供metrics

4. Grafana展示
• 开源的时序性统计和监控平台
• ⽀支持多种数据源，包括 prometheus
• ⾮非常⽅方便便⾃自定义展示
• 有很多Ceph监控的共享模块

5. Grafana展示示例例

6. Ceph Dashboard
• Ceph Mgr⾃自带Dashboard插件
• Luminous版本引⼊入
• ⽐比较初级
• 后续可期待更更完善的功能

7. Ceph Dashboard示例例

8. Ceph运维 - 基础命令

9. ceph.conf
• Ceph集群的配置⽂文件 /etc/ceph/ceph.conf

10. ceph status
• HEALTH_OK：⼀一切正常
• HEALTH_WARN：告警！不不影响集群使⽤用
• HEALTH_ERR：错误！！！影响集群使⽤用

11. ceph df
• GLOBAL：整体Ceph集群的容量量信息
• POOLS：具体每个Pool的容量量信息

12. ceph osd pool stats
• 查看ceph各个pool的Client IO信息
• ⽤用于查看是否pool的IO符合预期

13. ceph daemon status
• systemctl status <xxx>.service
• systemctl stop/start/restart <xxx>.service

14. ceph osd config
• 在物理理机上debug其上的OSDs
• ceph daemon osd.<id> config show/get/set …
• monitor, mgr, mds的debug类似

15. ceph logs
• ⽬目录：/var/log/ceph/
• 不不同组件有不不同的前缀，⽐比如：ceph-osd.0.log
• 默认做log rotate，保留留7天的log

16. rbd image
• rbd help <command>：获取详细帮助

17. rbd status/disk-usage
• rbd status -p <pool> <image-name>
• watcher：map该image的客户端信息
• rbd disk-usage -p <pool> <image-name>
• PROVISIONED：image的指定size
• USED：image实际使⽤用的size

18. rbd resize
• rbd resize …
• rbd info 确认修改
• resize2fs /dev/rbd<id>
• ext2/ext3/ext4
• 不不同FS不不同命令

19. ceph fs ls/get
• ceph fs ls
• name、metadata pool（⼀一个）、data pools（可多个）
• ceph fs get <fs-name>
• fs的很多元数据和配置信息，上述截图不不完整

20. ceph fs status
• Ceph FileSystem 状态信息

21. Ceph运维 - 进阶命令

22. rados df
• Pool级别的Rados统计信息
• OBJECTS：对象数，与上层的RBD Image / CephFS File⽆无对应关系
• RD_OPS, RD：Read的统计
• WR_OPS, WR：Write的统计

23. ceph osd tree
• STATUS：up / down, in / out
• CLASS：分类 hdd / ssd / …
• WEIGHT：默认disk容量量⼤大⼩小（T），可分配数据的Size
• REWEIGHT：数据分配的权重（0-1）

24. ceph osd df
• SIZE / USE / AVAIL / %USE：存储空间
• VAR：OSD空间使⽤用的差异输出，1为基准
• PGS：OSD上的PG个数，理理想情况是均衡的

25. ceph osd perf
• 获取osd的实时perf信息
• commit_latency
• 写到Journal / wal
• apply_latency
• 写到disk

26. Ceph daemon osd cmd
• ceph daemon osd.<id> perf dump : OSD的perf信息
• ceph daemon osd.<id> dump_ops_in_flight
• ceph daemon osd.<id> dump_historic_ops

27. ceph daemonperf
• 查看各个Ceph Daemon的perf信息
• ceph daemonperf osd.<id>
• Monitor / Mgr / MDS的命令类似

28. 其他命令
• ceph --help
• rbd --help
• rados --help

29. Q&A