pve集群中使用zfs replication做HA

这两天因为QNAP NAS意外断电，造成共享的NFS文件系统出现问题，而PVE原有的共享存储都是位于该NAS共享的NFS上。先是发现集群中vm的性能出奇的差，从vnc console登录进系统的时候都要卡许久，后发现大部分nginx转发的后端都出现502、503等无法访问的问题。在QNAP中检查修复文件系统后，服务才恢复正常。 所以想着还是找多两块硬盘，在两节点上各加一块，做ZFS Pool，在集群中使用zfs replicaion 做HA。

创建ZFS pool

要使用replication功能，必须使用ZFS文件系统。在每个节点中创建相同名称的zfs池。需要注意的是，在WEB UI中无法在不同节点中创建相同名称的ZFS存储，所以需要登录到每个节点中创建zfs pool，这里使用的是单硬盘。

# fdisk /dev/sda    ##如果是未分区的硬盘可以忽略
>> 进到 fdisk中按o清空分区表，按w保存退出
#  zpool create -f pve-cluster-zfs /dev/sda

在节点中创建完zfs pool后，就可以在web ui中添加存储。 在web管理页面中，点击Datacenter–Storage–Add–ZFS，填写ID <ZFS_REP>（后面创件虚拟机使用存储），ZFS pool选择先前创建的 pve-cluster-zfs。

创建测试虚拟机

创建新的虚拟机，HARD DISK Storage存储选中Datacenter中创建的ZFS_REP，大小设置为1G即可。

选中刚创建完的虚拟机，点击Replication–Add，将Schedule设置为”*/1″，每分钟创建同步一次。 一分钟后，应看到该任务被执行，如

2021-07-01 23:05:00 102-0: start replication job 2021-07-01 23:05:00 102-0: guest => VM 102, running => 0 2021-07-01 23:05:00 102-0: volumes => ZFS_REP:vm-102-disk-0 2021-07-01 23:05:01 102-0: create snapshot ‘replicate_102-0_1625151900‘ on ZFS_REP:vm-102-disk-0 2021-07-01 23:05:01 102-0: using secure transmission, rate limit: none 2021-07-01 23:05:01 102-0: full sync ‘ZFS_REP:vm-102-disk-0’ (replicate_102-0_1625151900) 2021-07-01 23:05:02 102-0: full send of pve-cluster-zfs/vm-102-disk-0@replicate_102-0_1625151900 estimated size is 29.1K 2021-07-01 23:05:02 102-0: total estimated size is 29.1K 2021-07-01 23:05:02 102-0: TIME SENT SNAPSHOT pve-cluster-zfs/vm-102-disk-0@replicate_102-0_1625151900 2021-07-01 23:05:03 102-0: successfully imported ‘ZFS_REP:vm-102-disk-0’ 2021-07-01 23:05:03 102-0: end replication job

schedule：这里设置的schedule */1只是为了快速测速看到结果用，实际使用视情况而定，如考虑虚拟机的镜像大小，网络带宽等。

创建HA

Datacenter–HA–Groups–Create，创建TESTREP组，选中HA节点并设置优先级。 Datacenter–HA–Add，选中VM102，group选择TESTREP。

# ha-manage groupadd TESTREP -nodes "node1:1,node2:2"
# ha-manager add vm:102 --state started --group TESTREP --max_relocate 2

只在部分节点上存储池需要做节点访问限制，restriction限制访问节点，storage.cfg配置如下

# vim /etc/pve/stroage.cfg

zfspool: px-zfs-z1
        pool px-zfs-z1
        content images,rootdir
        mountpoint /px-zfs-z1
        nodes pve
        sparse 1

nodes： 指定节点

如果没有做节点访问限制，虚拟机在HA迁移时候会报错：

Failed to sync data - could not activate storage 'Migration of VM between nodes failed - could not activate storage 'px-zfs-z1', zfs error: