Ceph 生产环境搭建 | 第 20 天：Ceph 生产环境升级维护与版本迭代策略

[升级前检查] → [设置 noout/noin 标志] → [MON 滚动升级] → [MGR 滚动升级]

→ [OSD 滚动升级（逐个）] → [RGW/MDS 升级] → [验证集群健康] → [清除 noout 标志] → [升级完成]

# 检查当前集群版本与升级路径

ceph versions

# 输出示例：

# {

# "mon": { "ceph version 19.2.1 (…): squid": 3 },

# "mgr": { "ceph version 19.2.1 (…): squid": 2 },

# "osd": { "ceph version 19.2.1 (…): squid": 12 },

# "rgw": { "ceph version 19.2.1 (…): squid": 2 }

# }

# 检查集群健康状态（升级前必须为 HEALTH_OK）

ceph health detail

#!/bin/bash

# upgrade_preflight.sh — Ceph 升级前预检查脚本

# 在 cephadm 节点（admin host）上执行

set -euo pipefail

echo "===== 1. 集群健康状态检查 ====="

HEALTH=$(ceph health)

echo "Health: $HEALTH"

if [ "$HEALTH" != "HEALTH_OK" ]; then

echo "ERROR: 集群非 HEALTH_OK，升级前必须修复所有告警"

ceph health detail

exit 1

fi

echo "===== 2. 当前版本检查 ====="

ceph versions

echo "===== 3. OSD 状态与容量检查 ====="

ceph osd stat

ceph df

# 确保可用空间 >= 30%，升级期间 PG 迁移需要额外空间

AVAILABLE=$(ceph df | awk '/TOTAL/ {print $8}' | tr -d '%')

echo "可用空间百分比: ${AVAILABLE}%"

if [ "${AVAILABLE:-0}" -lt 30 ]; then

echo "WARN: 可用空间不足 30%，升级可能导致 PG 迁移失败"

fi

echo "===== 4. PG 状态检查 ====="

ceph pg stat | head -5

# 确保无 degraded/undersized/recovery 状态的 PG

DEGRADED=$(ceph pg dump | grep -c "degraded" || echo 0)

echo "Degraded PGs: $DEGRADED"

echo "===== 5. cephadm 版本检查 ====="

cephadm version 2>/dev/null || echo "cephadm version check skipped"

echo "===== 6. 备份集群配置 ====="

BACKUP_DIR="/root/ceph_upgrade_backup_$(date +%Y%m%d)"

mkdir -p "$BACKUP_DIR"

ceph config dump > "$BACKUP_DIR/ceph_config.txt"

ceph osd dump > "$BACKUP_DIR/osd_dump.txt"

ceph mon dump > "$BACKUP_DIR/mon_dump.txt"

ceph fs dump > "$BACKUP_DIR/fs_dump.txt"

ceph mgr dump > "$BACKUP_DIR/mgr_dump.txt"

ceph crush dump > "$BACKUP_DIR/crush_dump.txt"

ceph auth list > "$BACKUP_DIR/auth_list.txt"

echo "配置已备份至 $BACKUP_DIR"

echo "===== 7. 下载新版本容器镜像 ====="

# Squid v19.2.2 示例（根据实际情况替换版本号）

NEW_IMAGE="quay.io/ceph/ceph:v19.2.2"

ceph orch upgrade check "$NEW_IMAGE" 2>/dev/null ||

echo "镜像检查完成，确保网络可达 quay.io"

echo "===== 预检查完成 ====="

# 设置 noout：防止 OSD 被标记为 out（升级期间 OSD 短暂下线属正常）

ceph osd set noout

# 设置 noscrub 和 nodeep-scrub：暂停后台清洗任务，释放 IO 给 PG 迁移

ceph osd set noscrub

ceph osd set nodeep-scrub

# 可选：设置 noin 防止新 OSD 加入（适用于精确控制升级范围）

# ceph osd set noin

# 验证标志已设置

ceph osd dump | grep flags

# 期望输出包含：noout, noscrub, nodeep-scrub

# 启动集群升级到指定镜像版本

ceph orch upgrade start

–image quay.io/ceph/ceph:v19.2.2

# 监控升级进度（实时跟踪）

ceph orch upgrade status

# 升级进度示例输出：

# {

# "target_image": "quay.io/ceph/ceph:v19.2.2",

# "in_progress": true,

# "services_complete": ["mon", "mgr"],

# "services_in_progress": ["osd"],

# "message": "upgrading OSD daemons"

# }

# 查看各守护进程升级状态

ceph orch ps –format json | python3 -c "

import json, sys

data = json.load(sys.stdin)

for d in data:

print(f"{d['daemon_type']:6s} {d['daemon_id']:20s} {d['status']:10s} {d.get('version','N/A')}")

"

# 实时查看集群健康变化

watch -n 5 'ceph health detail; echo "—"; ceph pg stat'

# 查看 PG 恢复进度

ceph pg dump pgs | awk '

/^pg/ {

state = $2;

if (state !~ /active+clean/) {

print $1, state

}

}' | head -20

# 监控 OSD 状态变化

ceph osd tree

# 查看升级日志（cephadm 日志）

journalctl -u ceph-* –since "10 min ago" –no-pager | tail -50

# 检查客户端连接是否受影响（RGW 示例）

radosgw-admin user list –rgw-realm=default

# 或通过 S3 API 验证

s3cmd ls s3://test-bucket –no-encrypt

# 确认所有守护进程已升级到目标版本

ceph versions

# 所有组件版本应统一显示 v19.2.2

# 确认升级已完成

ceph orch upgrade status

# 期望：in_progress: false

# 清除维护标志

ceph osd unset noout

ceph osd unset noscrub

ceph osd unset nodeep-scrub

# 验证集群健康恢复 HEALTH_OK

ceph health

# 触发一次深度清洗验证数据完整性（可选，建议在低峰期）

ceph pg scrub <pg_id> # 对特定 PG 执行

# 全集群深度清洗（谨慎使用，会产生大量 IO）

# ceph osd deep-scrub all

# cephadm 升级相关配置参数（通过 ceph config set 调整）

# 设置升级时每个 OSD 等待 ONLINE 的超时时间（秒）

# 默认值：300（5分钟），生产环境建议提高到 600

ceph config set mgr mgr/cephadm/osd_upgrade_timeout 600

# 设置容器镜像拉取重试次数

ceph config set mgr mgr/cephadm/container_image_retry 3

# 控制升级并发度（同时升级的 OSD 数量）

# 默认 cephadm 逐个升级 OSD，确保安全

# 可通过以下配置允许有限并发

ceph config set mgr mgr/cephadm/osd_upgrade_concurrency 1

# 设置升级期间 PG 最小可用副本数（低于此值将暂停升级）

# 默认值因 pool size 而异，生产环境建议 >= 2

ceph config set global mon_osd_min_up_ratio 0.3

# 升级前确认所有存储池 min_size 设置合理

ceph osd pool ls | while read pool; do

size=$(ceph osd pool get "$pool" size | awk '{print $2}')

min_size=$(ceph osd pool get "$pool" min_size | awk '{print $2}')

echo "Pool: $pool | size=$size | min_size=$min_size"

done

# 生产环境建议：size=3, min_size=2（三副本池）

# 或：size=4+2, min_size=3（纠删码池）

# 在所有存储节点预拉取镜像

for node in node1 node2 node3 node4 node5; do

ssh root@$node "podman pull quay.io/ceph/ceph:v19.2.2"

done

# 或使用本地 Harbor 镜像仓库

ceph config set mgr mgr/cephadm/container_image

harbor.internal/ceph/ceph:v19.2.2

# 检查当前 CRUSH 算法

ceph osd crush get-tunable straw_calc_version

# 查看各 bucket 的 alg

ceph osd crush dump | python3 -c "

import json, sys

crush = json.load(sys.stdin)

for b in crush['buckets']:

print(f"{b['type_name']:10s} {b['name']:30s} alg={b['alg']}")

"