Rocky Linux 8.10下使用cephadm快速部署Ceph集群实战指南在当今企业级存储解决方案中Ceph凭借其卓越的分布式架构和开源特性已成为私有云和混合云环境的首选存储平台。本文将详细介绍如何在Rocky Linux 8.10操作系统上利用cephadm这一现代化部署工具快速搭建高可用的Ceph集群并特别针对国内用户优化配置华为云镜像源显著提升部署效率。1. 环境准备与系统配置1.1 操作系统基础配置Rocky Linux作为RHEL的完美替代品其8.10版本为Ceph集群提供了稳定的运行环境。我们首先需要完成以下基础配置# 设置主机名在所有节点执行 hostnamectl set-hostname ceph1 # 根据实际节点修改编辑/etc/hosts文件确保所有节点能够互相解析cat /etc/hosts EOF 192.168.8.197 ceph1 192.168.8.198 ceph2 192.168.8.199 ceph3 EOF关键系统服务调整关闭防火墙systemctl disable --now firewalld禁用SELinuxsetenforce 0并修改/etc/selinux/config为SELINUXdisabled配置NTP时间同步使用阿里云NTP服务器yum install -y chrony sed -i s/^pool.*/pool ntp.aliyun.com iburst/ /etc/chrony.conf systemctl restart chronyd注意分布式系统对时间同步极为敏感时间偏差超过阈值会导致集群告警甚至服务中断。1.2 硬件规划建议对于生产环境建议采用以下硬件配置方案组件最低配置要求推荐配置CPU4核16核及以上内存8GB32GB及以上存储1TB HDD多块SSD做OSD网络1Gbps10Gbps或更高实际部署中我们使用三台节点每台配置三块数据盘/dev/vdb、/dev/vdc、/dev/vdd作为OSD存储设备。2. 依赖环境安装与优化2.1 配置华为云镜像源为加速软件安装过程我们优先配置华为云镜像源# 基础系统源 sed -e s|^mirrorlist|#mirrorlist|g \ -e s|^#baseurlhttp://dl.rockylinux.org/$contentdir|baseurlhttps://mirrors.huaweicloud.com/rockylinux|g \ -i.bak /etc/yum.repos.d/Rocky-*.repo # Ceph专用源 cat /etc/yum.repos.d/ceph.repo EOF [ceph] nameceph x86_64 baseurlhttps://repo.huaweicloud.com/ceph/rpm-pacific/el8/x86_64 enabled1 gpgcheck0 [ceph-noarch] nameceph noarch baseurlhttps://repo.huaweicloud.com/ceph/rpm-pacific/el8/noarch enabled1 gpgcheck0 EOF2.2 安装必备软件安装Python3和Docker环境dnf install -y python3 # 配置Docker华为云镜像源 yum-config-manager --add-repo https://mirrors.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo dnf install -y docker-ce docker-ce-cli containerd.io systemctl enable --now docker验证Docker安装docker run hello-world3. Ceph集群部署实战3.1 安装cephadm工具在管理节点(ceph1)上安装cephadmdnf install -y cephadm3.2 初始化Ceph集群使用以下命令初始化集群cephadm --docker bootstrap \ --mon-ip 192.168.8.197 \ --initial-dashboard-user admin \ --initial-dashboard-password your_secure_password \ --dashboard-password-noupdate \ --allow-fqdn-hostname初始化完成后可以通过以下命令获取Dashboard访问信息ceph mgr services关键参数说明--mon-ip指定第一个monitor节点的IP--initial-dashboard-user设置Dashboard管理员账号--allow-fqdn-hostname允许使用FQDN作为主机名3.3 集群节点扩展SSH密钥配置ssh-keygen -t rsa -N -f /etc/ceph/ceph.pub ssh-copy-id -f -i /etc/ceph/ceph.pub rootceph2 ssh-copy-id -f -i /etc/ceph/ceph.pub rootceph3添加节点到集群ceph orch host add ceph2 ceph orch host add ceph3部署监控服务ceph orch apply mon ceph1,ceph2,ceph3 ceph orch apply mgr ceph1,ceph2,ceph34. OSD部署与集群优化4.1 添加OSD存储设备查看可用设备ceph orch device ls添加所有可用设备作为OSDceph orch apply osd --all-available-devices或者指定具体设备ceph orch daemon add osd ceph1:/dev/vdb ceph orch daemon add osd ceph2:/dev/vdb ceph orch daemon add osd ceph3:/dev/vdb4.2 集群健康检查查看集群状态ceph -s常见问题处理时钟不同步警告重新检查chronyd服务配置OSD启动失败检查journalctl -u ceph-*日志PG不平衡调整osd_crush_update_on_start参数4.3 性能优化建议修改Ceph配置文件/etc/ceph/ceph.conf[osd] osd_memory_target 4GB osd_op_num_threads 8 osd_disk_threads 4 [client] rbd_cache true rbd_cache_size 64MB应用配置变更ceph tell osd.* injectargs --osd_memory_target 42949672965. 高级功能配置5.1 Ceph Dashboard进阶使用启用Prometheus监控ceph mgr module enable prometheus配置Grafana集成ceph dashboard set-grafana-api-url http://grafana.example.com ceph dashboard set-grafana-api-username admin ceph dashboard set-grafana-api-password secure_password5.2 存储池与CRUSH规则创建复制池ceph osd pool create mypool 128 128 replicated创建纠删码池ceph osd pool create ecpool 128 128 erasure \ erasure_code_profilemyprofile5.3 客户端连接配置安装客户端工具dnf install -y ceph-common创建客户端密钥ceph auth get-or-create client.myclient mon allow r osd allow rwx poolmypool在实际项目中我们发现使用华为云镜像源可以将部署时间缩短60%以上特别是在安装依赖包阶段效果最为明显。对于初次接触Ceph的团队建议先在测试环境完整演练所有步骤再在生产环境实施。
Rocky Linux 8.10下用cephadm快速搭建Ceph集群（附华为云镜像源配置）
Rocky Linux 8.10下使用cephadm快速部署Ceph集群实战指南在当今企业级存储解决方案中Ceph凭借其卓越的分布式架构和开源特性已成为私有云和混合云环境的首选存储平台。本文将详细介绍如何在Rocky Linux 8.10操作系统上利用cephadm这一现代化部署工具快速搭建高可用的Ceph集群并特别针对国内用户优化配置华为云镜像源显著提升部署效率。1. 环境准备与系统配置1.1 操作系统基础配置Rocky Linux作为RHEL的完美替代品其8.10版本为Ceph集群提供了稳定的运行环境。我们首先需要完成以下基础配置# 设置主机名在所有节点执行 hostnamectl set-hostname ceph1 # 根据实际节点修改编辑/etc/hosts文件确保所有节点能够互相解析cat /etc/hosts EOF 192.168.8.197 ceph1 192.168.8.198 ceph2 192.168.8.199 ceph3 EOF关键系统服务调整关闭防火墙systemctl disable --now firewalld禁用SELinuxsetenforce 0并修改/etc/selinux/config为SELINUXdisabled配置NTP时间同步使用阿里云NTP服务器yum install -y chrony sed -i s/^pool.*/pool ntp.aliyun.com iburst/ /etc/chrony.conf systemctl restart chronyd注意分布式系统对时间同步极为敏感时间偏差超过阈值会导致集群告警甚至服务中断。1.2 硬件规划建议对于生产环境建议采用以下硬件配置方案组件最低配置要求推荐配置CPU4核16核及以上内存8GB32GB及以上存储1TB HDD多块SSD做OSD网络1Gbps10Gbps或更高实际部署中我们使用三台节点每台配置三块数据盘/dev/vdb、/dev/vdc、/dev/vdd作为OSD存储设备。2. 依赖环境安装与优化2.1 配置华为云镜像源为加速软件安装过程我们优先配置华为云镜像源# 基础系统源 sed -e s|^mirrorlist|#mirrorlist|g \ -e s|^#baseurlhttp://dl.rockylinux.org/$contentdir|baseurlhttps://mirrors.huaweicloud.com/rockylinux|g \ -i.bak /etc/yum.repos.d/Rocky-*.repo # Ceph专用源 cat /etc/yum.repos.d/ceph.repo EOF [ceph] nameceph x86_64 baseurlhttps://repo.huaweicloud.com/ceph/rpm-pacific/el8/x86_64 enabled1 gpgcheck0 [ceph-noarch] nameceph noarch baseurlhttps://repo.huaweicloud.com/ceph/rpm-pacific/el8/noarch enabled1 gpgcheck0 EOF2.2 安装必备软件安装Python3和Docker环境dnf install -y python3 # 配置Docker华为云镜像源 yum-config-manager --add-repo https://mirrors.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo dnf install -y docker-ce docker-ce-cli containerd.io systemctl enable --now docker验证Docker安装docker run hello-world3. Ceph集群部署实战3.1 安装cephadm工具在管理节点(ceph1)上安装cephadmdnf install -y cephadm3.2 初始化Ceph集群使用以下命令初始化集群cephadm --docker bootstrap \ --mon-ip 192.168.8.197 \ --initial-dashboard-user admin \ --initial-dashboard-password your_secure_password \ --dashboard-password-noupdate \ --allow-fqdn-hostname初始化完成后可以通过以下命令获取Dashboard访问信息ceph mgr services关键参数说明--mon-ip指定第一个monitor节点的IP--initial-dashboard-user设置Dashboard管理员账号--allow-fqdn-hostname允许使用FQDN作为主机名3.3 集群节点扩展SSH密钥配置ssh-keygen -t rsa -N -f /etc/ceph/ceph.pub ssh-copy-id -f -i /etc/ceph/ceph.pub rootceph2 ssh-copy-id -f -i /etc/ceph/ceph.pub rootceph3添加节点到集群ceph orch host add ceph2 ceph orch host add ceph3部署监控服务ceph orch apply mon ceph1,ceph2,ceph3 ceph orch apply mgr ceph1,ceph2,ceph34. OSD部署与集群优化4.1 添加OSD存储设备查看可用设备ceph orch device ls添加所有可用设备作为OSDceph orch apply osd --all-available-devices或者指定具体设备ceph orch daemon add osd ceph1:/dev/vdb ceph orch daemon add osd ceph2:/dev/vdb ceph orch daemon add osd ceph3:/dev/vdb4.2 集群健康检查查看集群状态ceph -s常见问题处理时钟不同步警告重新检查chronyd服务配置OSD启动失败检查journalctl -u ceph-*日志PG不平衡调整osd_crush_update_on_start参数4.3 性能优化建议修改Ceph配置文件/etc/ceph/ceph.conf[osd] osd_memory_target 4GB osd_op_num_threads 8 osd_disk_threads 4 [client] rbd_cache true rbd_cache_size 64MB应用配置变更ceph tell osd.* injectargs --osd_memory_target 42949672965. 高级功能配置5.1 Ceph Dashboard进阶使用启用Prometheus监控ceph mgr module enable prometheus配置Grafana集成ceph dashboard set-grafana-api-url http://grafana.example.com ceph dashboard set-grafana-api-username admin ceph dashboard set-grafana-api-password secure_password5.2 存储池与CRUSH规则创建复制池ceph osd pool create mypool 128 128 replicated创建纠删码池ceph osd pool create ecpool 128 128 erasure \ erasure_code_profilemyprofile5.3 客户端连接配置安装客户端工具dnf install -y ceph-common创建客户端密钥ceph auth get-or-create client.myclient mon allow r osd allow rwx poolmypool在实际项目中我们发现使用华为云镜像源可以将部署时间缩短60%以上特别是在安装依赖包阶段效果最为明显。对于初次接触Ceph的团队建议先在测试环境完整演练所有步骤再在生产环境实施。
