前情提要：https://akemi.zj.cn/2025/08/26/Pacemaker-NFS/忘记做nfs迁移测试了
后续的权限挂载问题使用nfs-client 10.163.2.109挂载10.163.2.150后，发现写入失败，这个问题是因为nfs server共享后，虽然共享权限为rw，但server默认给client的权限为nobody匿名用户，为的是防止client使用root权限直接操作server文件。（默认选项root_squash，即默认对root权限进行控制
有两种处理方法：
nfs server把挂载目录给777权限
nfs server共享时指定挂载选项n...
github地址https://github.com/ceph/ceph-csi/tree/release-v3.9可以通过github查看其支持的版本
ceph版本选择v3.9，因为我的k8s集群是v1.27参考文档https://github.com/ceph/ceph-csi/blob/release-v3.9/docs/deploy-rbd.md
准备 Ceph 配置和密钥：将你的 Ceph 集群信息（monitor 地址、keyring）转换为 Kubernetes 可用的 Secret 和 ConfigMap。
部署 RBAC 资源：为 Ceph-CSI 组件创建必要的服务...
这是对上一版部署的优化
上次使用的是docker，但cephadm其实默认使用的是podman，只配docker没用，podman就很容易在拉取镜像时卡住
这次尝试了docker/podman+镜像加速/代理，还是使用了podman+镜像加速的方式
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485...
锁与集群管理层：dlm (Distributed Lock Manager) 和 lvm2-lockd 是基石。它们为上层（LVM和GFS2）提供跨节点的分布式锁机制，确保在多个节点同时操作共享存储时数据的一致性。
共享存储层：iSCSI 提供共享块设备，multipath确保路径高可用，共享模式的LVM使得所有节点都能看到统一的物理和逻辑卷视图。
集群文件系统层：GFS2是关键。它利用底层的DLM，使得 /var/www/html 可以被三个节点同时挂载、读写，而不会导致文件系统损坏。
资源管理调度层：Pacemaker 负责管理所有资源（DLM、LVM、Filesystem、HT...
正在美美摸鱼呢，领导来消息了，让我帮他删一下一台云主机上的文件，要求删除所有/mnt下所有archived开头的目录
这是一个超大nfs挂载，使用的是阿里云的NAS，其中有500T数据被占用，有多大呢，连输入ls都会卡住
12df -Th | grep mntxxx[.cn-hangzhou.nas.aliyuncs.com:/ nfs 10P 502T 9.6P 5% /mnt2
解决思路find与xargs
首先肯定是find，因为我们要的是archived开头的目录，它可以很快帮我们找出哪些目录需要删除
123456789101112131415...
环境准备123456789101112131415161718192021222324252627282930313233343536373839404142434445管理网络10.163.2.0/24 DHCP存储网络172.16.0.0/24系统版本CentOS 8.5.2111交换机用L2做，这样简单点正常生产会使用两台L3，两条链路，两块网卡做bond# 更新yum源rm -rf /etc/yum.repos.d/*curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-...
HA-LVM（高可用LVM）是LVM在集群环境中的扩展，通过主/从配置实现共享存储的故障转移。主节点独占访问存储，从节点在主节点故障时接管。
对于使用传统文件系统(如ext4或xfs)的Active/Passive应用程序来说是一个不错的选择。为防止数据损坏，一次只有一个节点可以访问卷组挂载文件系统。
拓扑
环境说明
1234567eve-ng10.163.2.125 10.163.3.113 iscsi-target CentOS7.910.163.2.100 10.163.3.114 pcs1 CentOS8.010.163.2.102 10.1...
dm-multipath介绍一个系统如果可以使用多个不同的通信路径访问同一个存储设备，如光纤、iscsi、SAS等。
想满足当其中一条路径出现故障时，自动切换到另一条路径的需求，红帽推荐使用dm-multipath子系统实现多路径支持
dm-multipath会根据/etc/multipath.conf中的设置，自动检测路径并将路径分组，当组出现故障时，守护进程会将存储流量切换到另一个组
按名称访问多路径设备
内核为每个多路径设备分配一个世界范围标识符WWIDs，默认情况下系统会将设备名称直接设置为其WWIDs。并在/dev/mapper下为每...
云环境与本地主机的区别本地环境大多是使用LVM做的，也就是像这样
12345678910[root@1panel ~]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTSsda 8:0 0 500G 0 disk├─sda1 8:1 0 1G 0 part /boot├─sda2 8:2 0 49G 0 part│ ├─almalinux_192-roo...
Pacemaker组件Resoures和Resoures Group
单个IP 文件系统或数据库都被认为是resource，通过分资源组的方式来定义资源之间的关系
failover故障转移
Fencing击毙
通过关闭节点来阻断故障节点的资源使用
Shared Storage共享存储
可以用SAN、RAID、CephFS、GlusterFS、DRBD等
Quorum仲裁
每个成员默认都有1票，一般节点都是奇数个。如果仲裁失败，就不会启动任何资源和资源组
Pacemaker架构硬件架构1.集群节点
2.公共网络—客户访问
3.私有网络—集群节点内部通信
4.联网电源开关（带外管理
5.后端...