Ceph 生产环境搭建 | 第 19 天：Ceph 故障排查与数据恢复实战

# 1. 集群整体健康摘要

ceph status

# 输出示例（故障态）：

# cluster:

# health: HEALTH_ERR

# 1 osds down

# 1 host (1 osds) down

# Degraded data redundancy: 128/384 pgs degraded

# 2. 查看详细健康告警（Squid 新特性，结构化告警）

ceph health detail

# 会列出每个具体告警的 ID、严重级别、关联 OSD/PG

# 3. 查看所有非 active+clean 的 PG

ceph pg dump_stuck | grep -v "active+clean"

# 或使用过滤版

ceph pg ls –format json | python3 -m json.tool | grep state

# 4. 查看特定 PG 的详细状态与历史

ceph pg <pgid> query

# 例如：ceph pg 2.1f query

# 输出包含：PG 状态、OSD 映射、peering 历史、recovery 进度

# 1. 查看 OSD 树状拓扑，定位故障节点

ceph osd tree | grep -E "down|out"

# 输出示例：

# host ceph-node-03 {

# osd.12 down 1.00000 1.00000 hdd 0.01785

# osd.15 down 1.00000 1.00000 hdd 0.01785

# 2. 查看 OSD 的详细信息和最近状态变化

ceph osd find 12

# 输出 OSD 的 IP、CRUSH 位置、状态标志

# 3. 查看 OSD 服务日志（判断是网络问题还是磁盘问题）

# 先确认 OSD 容器日志位置

cephadm ls | jq -r '.[] | select(.name=="osd.12") | .systemd_unit'

# 然后查看对应 journalctl 或 /var/log/ceph

# 4. 检查 OSD 所在磁盘健康状态（物理层诊断）

ssh ceph-node-03

# 查看 BlueStore 使用的块设备

ceph-volume inventory –format json

# 使用 smartctl 检查 SMART 状态

smartctl -a /dev/sdb | grep -E "Reallocated|Pending|Uncorrect|Health"

# 关键指标：

# Reallocated_Sector_Ct > 0 → 已有坏块，准备更换

# Current_Pending_Sector > 0 → 即将坏块

# Offline_Uncorrectable > 0 → 不可恢复错误，磁盘必须更换

# 1. 查看集群 scrub 配置

ceph config dump | grep scrub

# 关键参数：

# osd_scrub_auto_repair = true (Squid 默认开启)

# osd_deep_scrub_interval = 604800 (7天，单位秒)

# osd_scrub_sleep = 0 (scrub 间隔，0=不限速，生产建议 0.05-0.1)

# 2. 手动触发单个 PG 的 deep-scrub

ceph pg deep-scrub 2.1f

# 观察状态变化

watch -n 2 'ceph pg ls | grep 2.1f'

# 3. 若自动修复未生效，手动触发 PG 修复

ceph pg repair 2.1f

# 注意：repair 会用 primary 副本覆盖其他副本

# 仅在确认 primary 副本正确时使用！

# 4. 生产环境 scrub 调度配置（避免影响业务高峰）

# 在 ceph.conf 或通过 ceph config set 配置：

ceph config set osd osd_scrub_begin_hour 1

ceph config set osd osd_scrub_end_hour 6

# 限制 scrub 仅在凌晨 1-6 点执行

ceph config set osd osd_deep_scrub_interval 604800

# deep-scrub 间隔 7 天

# 5. 查看 scrub 进度和队列

ceph osd scrub status

# 或（旧版）：

ceph pg dump | grep scrub

# 场景：osd.12 的 BlueStore DB 分区损坏，OSD 无法启动

# 目标：将 osd.12 上的 PG 数据导出到新 OSD

# 步骤 1：将故障 OSD 标记为 destroyed（阻止集群重建）

ceph osd set destroy osd.12

ceph osd set noout # 暂时禁止恢复，避免数据搬迁

# 步骤 2：停止故障 OSD 守护进程

cephadm ls | jq -r '.[] | select(.name=="osd.12") | .systemd_unit'

systemctl stop ceph-<fsid>@osd.12.service

# 步骤 3：进入 OSD 容器或直接使用 ceph-objectstore-tool

# 获取集群 FSID

FSID=$(ceph fsid)

# 步骤 4：以只读模式挂载故障 OSD 的 BlueStore 数据

# 先查看该 OSD 的磁盘路径

lsblk -o NAME,MOUNTPOINT,SIZE /dev/disk/by-partuuid/$(ceph-bluestore-tool show-label /dev/sdb | jq -r .osd_uuid)

# 假设数据在 /dev/sdb3 (block 分区), DB 在 /dev/sdb1

# 步骤 5：列出该 OSD 上的所有 PG

ceph-objectstore-tool –data-path /var/lib/ceph/osd/ceph-12

–op list-pgs

# 输出示例：2.1f, 2.2a, 3.0c, …

# 步骤 6：逐个导出 PG 数据到临时文件

ceph-objectstore-tool –data-path /var/lib/ceph/osd/ceph-12

–pgid 2.1f –op export –file /tmp/pg_2.1f.export

# 步骤 7：将导出的 PG 导入到新的 OSD（需先创建空 OSD）

# 先用新磁盘创建 OSD

ceph-volume lvm create –data /dev/nvme0n1

# 获取新 OSD 编号，假设为 osd.20

NEW_OSD=20

ceph-objectstore-tool –data-path /var/lib/ceph/osd/ceph-${NEW_OSD}

–pgid 2.1f –op import –file /tmp/pg_2.1f.export

# 步骤 8：清除 noout 并允许集群恢复

ceph osd unset noout

# 观察恢复进度

ceph -w

# 关键配置参数说明（ceph.conf / ceph config set）

# — 故障检测与恢复 —

osd_heartbeat_grace: 20 # OSD peer 心跳超时（秒），生产可调到 15

mon_osd_down_out_interval: 600 # OSD down 后多久标记 out（秒），生产建议 900-1200

osd_max_markdown: 300 # OSD 标记 down 后最多等多久重新 up

# — 恢复限速（防止恢复 IO 挤占业务 IO） —

osd_recovery_max_active: 3 # 每个 OSD 同时恢复的 PG 数，生产建议 1-3

osd_recovery_op_priority: 1 # 恢复操作优先级（1-63），生产建议 1-2

osd_client_op_priority: 63 # 客户端操作优先级，保持高值

osd_recovery_max_single_start: 1 # 同时启动恢复的 PG 数

osd_max_backfills: 1 # 每个 OSD 同时 backfill 数，HDD 建议 1，SSD 可 2-3

# — Scrub 配置 —

osd_scrub_auto_repair: true # 自动修复不一致（Squid 默认 true）

osd_deep_scrub_interval: 604800 # deep-scrub 间隔（秒），7天

osd_scrub_begin_hour: 1 # scrub 允许开始时间

osd_scrub_end_hour: 6 # scrub 允许结束时间

osd_scrub_sleep: 0.05 # scrub 间隔秒数，HDD 建议 0.05-0.1

# 1. 确认 quorum 丢失（所有 ceph 命令超时或返回错误）

timeout 10 ceph -s

# 若超时，说明已失去 quorum

# 2. 找到存活 Monitor（有最新 monmap 的那个）

# 进入每个 MON 节点检查

for mon in ceph-mon-01 ceph-mon-02 ceph-mon-03; do

echo "=== $mon ==="

ssh $mon "ceph daemon mon.$(hostname) mon_status 2>/dev/null ||

cat /var/lib/ceph/mon/ceph-*/kv_backend 2>/dev/null ||

ls -lt /var/lib/ceph/mon/ceph-*/store.db/ 2>/dev/null | head"

done

# 3. 找到有最新数据的 MON 后，强制生成单节点 quorum

# 在存活 MON 节点上执行（需 root 权限）

# 假设 ceph-mon-01 有最新数据

ssh ceph-mon-01

# 生成一个只包含当前 MON 的 monmap

ceph-mon -i mon.ceph-mon-01 –extract-monmap /tmp/monmap –mon-data /var/lib/ceph/mon/ceph-ceph-mon-01

# 此命令会从本地 MON 数据库提取 monmap

# 4. 修改 monmap，移除已宕机的 MON

monmaptool –print /tmp/monmap

# 仅保留当前 MON

monmaptool –rm mon.ceph-mon-02 /tmp/monmap

monmaptool –rm mon.ceph-mon-03 /tmp/monmap

# 确认只剩一个

monmaptool –print /tmp/monmap

# 5. 将修改后的 monmap 注入 MON

ceph-mon -i mon.ceph-mon-01 –inject-monmap /tmp/monmap –mon-data /var/lib/ceph/mon/ceph-ceph-mon-01

# 重启该 MON 服务

systemctl restart ceph-$(ceph fsid)@mon.ceph-mon-01.service

# 6. 验证 quorum 恢复

ceph -s

# 此时应有 1 个 MON，集群恢复服务

# 7. 重新添加其他 MON（在故障修复后）

ceph mon add mon.ceph-mon-02 10.0.1.12

ceph mon add mon.ceph-mon-03 10.0.1.13

# 等待 monmap 同步并组建 3 节点 quorum

ceph quorum_status

# 辅助脚本：自动化 PG 状态监控与告警（保存为 pg_monitor.py）

# 使用 Python 调用 ceph CLI 获取 PG 状态并判断告警级别

import subprocess, json, smtplib

from email.mime.text import MIMEText

def get_pg_status():

"""获取集群 PG 状态摘要"""

result = subprocess.run(

['ceph', 'pg', 'dump', 'summary', '–format', 'json'],

capture_output=True, text=True, timeout=30

)

data = json.loads(result.stdout)

return data

def check_health():

"""检查集群健康并返回告警"""

result = subprocess.run(

['ceph', 'health', 'detail', '–format', 'json'],

capture_output=True, text=True, timeout=30

)

health = json.loads(result.stdout)

alerts = []

for check in health.get('checks', {}).values():

severity = check.get('severity', '') # ERROR / WARN

summary = check.get('summary', {}).get('message', '')

if severity == 'ERROR':

alerts.append(f"[CRITICAL] {summary}")

elif severity == 'WARN':

alerts.append(f"[WARNING] {summary}")

return alerts

def send_alert(alerts):

"""发送邮件告警"""

if not alerts:

return

body = "n".join(alerts)

msg = MIMEText(f"Ceph 集群告警:nn{body}")

msg['Subject'] = f"[Ceph Alert] {len(alerts)} issues detected"

msg['From'] = 'ceph-monitor@stellardata.top'

msg['To'] = 'ops-team@stellardata.top'

with smtplib.SMTP('smtp.stellardata.top', 25) as s:

s.send_message(msg)

print(f"Alert sent: {len(alerts)} issues")

if __name__ == '__main__':

pg = get_pg_status()

print(f"Total PGs: {pg.get('num_pgs', 0)}")

alerts = check_health()

send_alert(alerts)