Ceph 生产环境搭建 | 第 2 天：Ubuntu 系统准备：内核调优与磁盘规划

# 更新系统到最新补丁

sudo apt update && sudo apt upgrade -y

# 安装基础依赖工具

sudo apt install -y lvm2 chrony cephadm ceph-common

python3-pip curl wget parted gdisk smartmontools

nvme-cli fio hdparm

# 验证 Ubuntu 版本

lsb_release -a

# 预期输出: Description: Ubuntu 24.04.x LTS

# 验证内核版本

uname -r

# 预期输出: 6.8.x-xx-generic (Ubuntu 24.04 默认内核)

# 停用默认的 systemd-timesyncd

sudo systemctl disable –now systemd-timesyncd

# 配置 Chrony 使用内网 NTP 服务器

sudo tee /etc/chrony/chrony.conf > /dev/null << 'EOF'

server ntp.aliyun.com iburst

server cn.pool.ntp.org iburst

driftfile /var/lib/chrony/drift

makestep 1.0 3

rtcsync

allow 10.0.0.0/8

local stratum 10

EOF

# 启动并设置开机自启

sudo systemctl enable –now chrony

# 验证时间同步状态

chronyc sources -v

chronyc tracking

# 关键指标: System time : 0.0000xxxx seconds

# 创建 Ceph 内核调优配置文件

sudo tee /etc/sysctl.d/99-ceph.conf > /dev/null << 'EOF'

# — 网络栈优化 —

# 增大 TCP 缓冲区（Ceph 集群网络流量大）

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

net.ipv4.tcp_rmem = 4096 87380 16777216

net.ipv4.tcp_wmem = 4096 67392 16777216

# 连接复用与 backlog

net.ipv4.tcp_tw_reuse = 1

net.core.somaxconn = 16384

net.ipv4.tcp_max_syn_backlog = 8192

# — 内存管理 —

# 极低 swap 倾向（Ceph 不应使用 swap）

vm.swappiness = 1

vm.min_free_kbytes = 1048576

# — 文件系统 —

fs.file-max = 2097152

fs.aio-max-nr = 1048576

EOF

# 应用内核参数

sudo sysctl –system

# 配置文件描述符限制

sudo tee /etc/security/limits.d/99-ceph.conf > /dev/null << 'EOF'

* soft nofile 1048576

* hard nofile 1048576

root soft nofile 1048576

root hard nofile 1048576

EOF

# 立即关闭透明大页（THP）

sudo bash -c 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'

sudo bash -c 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'

# 持久化配置（systemd service）

sudo tee /etc/systemd/system/disable-thp.service > /dev/null << 'EOF'

[Unit]

Description=Disable Transparent Huge Pages

After=sysinit.target local-fs.target

[Service]

Type=oneshot

ExecStart=/bin/bash -c 'echo never > /sys/kernel/mm/transparent_hugepage/enabled && echo never > /sys/kernel/mm/transparent_hugepage/defrag'

[Install]

WantedBy=multi-user.target

EOF

sudo systemctl daemon-reload

sudo systemctl enable –now disable-thp

# 验证 THP 状态

cat /sys/kernel/mm/transparent_hugepage/enabled

# 预期输出: always madvise [never]

# — 第一步：识别磁盘 —

# 查看所有块设备及路径

sudo lsblk -o NAME,SIZE,TYPE,MODEL,SERIAL,TRAN

# 查看 NVMe 设备详情

sudo nvme list

# 查看磁盘健康状态

sudo smartctl -a /dev/sdb | grep -E "SMART|Reallocated|Temperature"

# — 第二步：清除旧分区和文件系统签名 —

# 清除所有数据盘的分区表（危险！确认设备名！）

for dev in /dev/sdb /dev/sdc /dev/sdd /dev/sde; do

sudo sgdisk –zap-all "$dev"

sudo dd if=/dev/zero of="$dev" bs=1M count=10

sudo partprobe "$dev"

done

# 清除 NVMe 上的旧数据

sudo sgdisk –zap-all /dev/nvme0n1

sudo blkdiscard /dev/nvme0n1

# — 第三步：创建 LVM 物理卷和卷组 —

# OSD 数据盘各自创建 PV

sudo pvcreate /dev/sdb /dev/sdc /dev/sdd /dev/sde

# NVMe 创建独立 VG 用于 DB/WAL（可选，按 OSD 切分）

sudo pvcreate /dev/nvme0n1

sudo vgcreate ceph-db-wal /dev/nvme0n1

# 查看当前 I/O 调度器

for dev in sdb sdc sdd sde nvme0n1; do

echo "$dev: $(cat /sys/block/$dev/queue/scheduler)"

done

# 设置 NVMe/SSD 使用 none 调度器（BlueStore 自管理 I/O）

# 持久化规则

sudo tee /etc/udev/rules.d/60-ceph-io-scheduler.rules > /dev/null << 'EOF'

# NVMe SSD: none (direct dispatch)

ACTION=="add|change", KERNEL=="nvme[0-9]+n[0-9]+", ATTR{queue/scheduler}="none"

# SATA/SAS SSD: none

ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="0", ATTR{queue/scheduler}="none"

# HDD: mq-deadline (减少 starvation)

ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="1", ATTR{queue/scheduler}="mq-deadline"

EOF

# 应用 udev 规则

sudo udevadm control –reload-rules

sudo udevadm trigger

# 调整块设备 read-ahead（HDD 适当增大，SSD 可关闭）

sudo blockdev –setra 0 /dev/nvme0n1

sudo blockdev –setra 16384 /dev/sdb

# 配置 systemd 挂载选项：禁用 Ceph 数据盘的 atime

# （BlueStore 使用裸盘，此项仅适用于系统盘文件系统挂载）

sudo tee -a /etc/fstab > /dev/null << 'EOF'

# 示例：系统盘挂载加 noatime

# UUID=xxx / ext4 defaults,noatime,nodiratime 0 1

EOF

# HDD 随机写 4K 性能测试（模拟 Ceph 小对象写）

sudo fio –name=ceph-hdd-test

–filename=/dev/sdb –ioengine=libaio

–direct=1 –rw=randwrite –bs=4k

–numjobs=4 –iodepth=32 –runtime=60 –time_based

–group_reporting –offset=0 –size=10G

# NVMe 随机写 4K 性能测试（评估 DB/WAL 瓶颈）

sudo fio –name=ceph-nvme-test

–filename=/dev/nvme0n1 –ioengine=libaio

–direct=1 –rw=randwrite –bs=4k

–numjobs=8 –iodepth=64 –runtime=60 –time_based

–group_reporting

# 记录 IOPS 和延迟数据，后续与 Ceph 集群层性能对比

# 经验值参考：

# HDD 4K randwrite: 100-200 IOPS, 延迟 5-10ms

# SATA SSD 4K randwrite: 10000-80000 IOPS

# NVMe 4K randwrite: 100000-500000 IOPS, 延迟 <1ms