Proxmox VE 存储

许多存储以及 QEMU 镜像格式 qcow2 都支持“精简配置”。启用精简配置后， 只有客户机系统实际使用的块才会写入存储。

例如，创建一台带 32GB 硬盘的虚拟机，安装客户机操作系统后，虚拟机根文件系统中包含 3GB 数据。在这种情况下，即使客户机虚拟机看到的是 32GB 硬盘，也只有 3GB 会写入存储。 通过这种方式，精简配置允许创建大于当前可用存储块数量的磁盘镜像。可以先为虚拟机创建 较大的磁盘镜像，并在需要时为存储添加更多磁盘，而无需调整虚拟机文件系统大小。

所有具备“快照”特性的存储类型也都支持精简配置。

每个存储池都有一个 <type>，并通过其 <STORAGE_ID> 唯一标识。存储池配置如下所示：

<type>: <STORAGE_ID> 行开始一个存储池定义，随后是属性列表。大多数属性需要值。 有些属性具有合理的默认值，此时可以省略该值。

更具体地说，可以查看安装后的默认存储配置。它包含一个名为 local 的特殊本地存储池， 指向目录 /var/lib/vz，并且始终可用。Proxmox VE 安装程序会根据安装时选择的存储类型 创建额外的存储条目。

一些存储属性在不同存储类型之间通用。

image 类型卷存在所有权关系。每个此类卷都归属于一台虚拟机或一个容器。 例如，卷 local:230/example-image.raw 归属于虚拟机 230。大多数存储后端会将该所有权信息 编码到卷名称中。

删除虚拟机或容器时，系统也会删除其拥有的所有关联卷。

添加存储池

禁用存储池

启用存储池

更改或设置存储选项

移除存储池。这不会删除任何数据，也不会断开连接或卸载任何内容。它只会移除存储配置。

分配卷

在本地存储中分配一个 4G 卷。如果将空字符串作为 <name> 传入，名称会自动生成。

释放卷

列出存储状态

列出存储内容

列出按 VMID 分配的卷

列出 ISO 镜像

列出容器模板

显示卷的文件系统路径

将卷 local:103/vm-103-disk-0.qcow2 导出到文件 target。 这主要在内部与 pvesm import 配合使用。流格式 qcow2+size 不同于 qcow2 格式。 因此，导出的文件不能简单地附加到虚拟机。其他格式也是如此。

常用命令示例：

该后端支持所有通用存储属性，并额外增加两个属性。path 属性用于指定目录。 该目录必须是绝对文件系统路径。

可选的 content-dirs 属性允许更改默认布局。它由逗号分隔的标识符列表组成， 格式如下：

其中 vtype 是该存储允许的内容类型之一，path 是相对于该存储挂载点的路径。

上述配置定义了一个名为 backup 的存储池。该存储池可为每台虚拟机最多保存 7 个普通备份（keep-last=7）和 3 个受保护备份。备份文件的实际路径为 /mnt/backup/custom/backup/dir/...。

该后端对虚拟机镜像使用明确的命名方案：

创建虚拟机模板时，所有虚拟机镜像都会被重命名，以表示它们现在是只读的， 并可作为克隆的基础镜像：

如上所述，大多数文件系统本身不直接支持快照。为规避该问题，此后端可以使用 qcow2 的内部快照能力。

克隆也是同样的情况。后端使用 qcow2 基础镜像功能来创建克隆。

请使用以下命令在存储 local 上分配一个 4GB 镜像：

可以通过以下命令显示真实文件系统路径：

可以使用以下命令删除该镜像：

常用命令示例：

该后端支持除 shared 标志之外的所有通用存储属性；shared 标志始终为启用状态。 此外，以下属性用于配置 NFS 服务器：

也可以设置 NFS 挂载选项：

eNFS 是 openEuler 对 NFS 客户端的增强，用于在一个 NFS 挂载点上建立多条访问路径， 提供多路径、负载均衡和故障转移能力。eNFS 属于客户端增强，不要求 NFS 服务器部署 PXVIRT 组件；但服务器端需要启用 NFSv3，因为 eNFS 当前仅支持 NFSv3。

更多信息可参见 openEuler eNFS 使用指南： eNFS 使用指南。

NFS 不支持快照，但该后端会使用 qcow2 特性实现快照和克隆。

可以使用以下命令获取导出的 NFS 共享列表：

常用命令示例：

该后端支持所有通用存储属性，但 shared 标志除外，该标志始终会被设置。此外，还可使用 以下 CIFS 专用属性：

CIFS 不支持存储级快照。但如果仍希望使用快照和克隆功能，可以使用 qcow2 后端文件。

可以使用以下命令获取导出的 CIFS 共享列表：

然后可以使用以下命令将其中一个共享作为存储添加到整个 Proxmox VE 集群：

该后端支持所有通用存储属性，但 shared 标志除外，该标志始终会被设置。此外， Proxmox Backup Server 还支持以下专用属性：

Proxmox Backup Server 仅支持备份，备份可以基于块级或文件级。Proxmox VE 对虚拟机使用块级备份， 对容器使用文件级备份。

可以选择配置使用 AES-256 GCM 模式的客户端侧加密。可以通过 Web 界面配置加密， 也可以在 CLI 中使用 encryption-key 选项（见上文）。密钥会保存到 /etc/pve/priv/storage/<STORAGE-ID>.enc 文件中，该文件仅 root 用户可访问。

建议将密钥安全保存，同时确保在灾难恢复时能够快速取得。因此，最佳存放位置是密码管理器， 这样可以立即恢复。作为补充，也应将密钥保存到 USB 闪存盘，并存放在安全位置。 这样密钥就与任何系统分离，但在紧急情况下仍容易取回。最后，为应对最坏情况， 还应考虑将密钥的纸质副本锁存在安全位置。paperkey 子命令可用于创建密钥的 QR 编码版本。 以下命令会将 paperkey 命令的输出发送到文本文件，以便打印。

此外，还可以使用单个 RSA 主密钥对进行密钥恢复：将所有执行加密备份的客户端配置为使用同一个主公钥， 之后所有加密备份都会包含一份经 RSA 加密的已用 AES 加密密钥副本。即使客户端系统不再可用， 对应的主私钥也允许恢复 AES 密钥并解密备份。

由于加密是在客户端侧管理的，同一服务器 datastore 可同时用于未加密备份和加密备份， 即使这些备份使用不同密钥加密也可以。但是，不同密钥的备份之间无法进行去重， 因此通常最好创建单独的 datastore。

可以使用以下命令获取可用 Proxmox Backup Server datastore 列表：

然后可以使用以下命令将其中一个 datastore 作为存储添加到整个 Proxmox VE 集群：

该后端支持所有通用存储属性，并额外增加以下 GlusterFS 专用选项：

目录布局和文件命名约定继承自 dir 后端。

该存储提供文件级接口，但没有原生快照或克隆实现。

可以使用以下命令获取可用 GlusterFS 卷列表：

常用命令示例：

该后端支持通用存储属性 content、nodes、disable，以及以下 ZFS 专用属性：

该后端对虚拟机镜像使用以下命名方案：

在快照和克隆方面，ZFS 可能是最先进的存储类型。该后端对虚拟机镜像（格式 raw）和容器数据（格式 subvol）均使用 ZFS dataset。ZFS 属性会从父 dataset 继承，因此可以直接在父 dataset 上设置默认值。

建议创建一个额外的 ZFS 文件系统来存放虚拟机镜像：

要在新分配的文件系统上启用压缩：

可以使用以下命令获取可用 ZFS 文件系统列表：

查看当前 Proxmox VE 存储状态：

列出节点上可供存储后端使用的 ZFS 文件系统：

LVM 后端支持通用存储属性 content、nodes、disable，以及以下 LVM 专用属性：

该后端基本使用与 ZFS pool 后端相同的命名约定。

LVM 是典型的块存储，但此后端不支持快照和克隆。遗憾的是，普通 LVM 快照效率较低，因为在快照期间它们会影响整个卷组上的所有写入。

它的一大优势是可以部署在共享存储之上，例如 iSCSI LUN。该后端自身实现了适当的集群范围锁定。

可以使用以下命令获取可用 LVM 卷组列表：

查看当前 Proxmox VE 存储配置：

扫描节点上可用的 LVM 卷组：

LVM thin 后端支持通用存储属性 content、nodes、disable，以及以下 LVM 专用属性：

该后端基本使用与 ZFS pool 后端相同的命名约定。

LVM thin 是块存储，但可以高效地完整支持快照和克隆。新卷会自动初始化为零。

需要注意，LVM thin pool 不能跨多个节点共享，因此只能作为本地存储使用。

可以使用以下命令获取卷组 pve 上可用的 LVM thin pool 列表：

查看当前存储状态：

列出节点上的 LVM 卷组：

该后端支持通用存储属性 content、nodes、disable，以及以下 iSCSI 专用属性：

iSCSI 协议没有定义用于分配或删除数据的接口。这些操作需要在 target 侧完成，并且 与厂商实现相关。target 只是将它们作为带编号的 LUN 导出。因此，Proxmox VE iSCSI 卷名 只是编码了 Linux 内核所看到的 LUN 的一些信息。

iSCSI 是块级存储类型，不提供管理接口。因此，通常最好导出一个较大的 LUN，并在该 LUN 之上设置 LVM。随后可以使用 LVM 插件管理该 iSCSI LUN 上的存储。

可以扫描远程 iSCSI portal，并使用以下命令获取可能的 target 列表：

用户态 iSCSI 后端使用与 Open-iSCSI 后端相同的配置选项。

查看当前存储状态：

扫描可用 iSCSI target：

该后端支持通用存储属性 nodes、disable、content，以及以下 rbd 专用属性：

如果使用默认启用的 cephx 认证，需要提供外部 Ceph 集群的 keyring。

要通过 CLI 配置该存储，首先需要让包含 keyring 的文件可用。一种方法是将该文件从外部 Ceph 集群直接复制到某个 Proxmox VE 节点。以下示例会将它复制到当前执行命令节点的 /root 目录：

然后使用 pvesm CLI 工具配置外部 RBD 存储，并通过 --keyring 参数指定刚复制的 keyring 文件路径。例如：

通过 GUI 配置外部 RBD 存储时，可以将 keyring 复制并粘贴到相应字段中。

keyring 将存储在：

连接外部 Ceph 存储时，并不总是允许在外部集群的配置数据库中设置客户端专用选项。可以在 Ceph keyring 旁边添加一个 ceph.conf，用于调整该存储的 Ceph 客户端配置。

ceph.conf 需要与该存储使用相同名称。

可用设置请参见 RBD 配置参考
[RBD configuration reference https://docs.ceph.com/en/quincy/rbd/rbd-config-ref/]
。

rbd 后端是块级存储，并实现了完整的快照和克隆功能。

查看 Proxmox VE 存储状态：

使用 rbd 工具列出指定 Ceph pool 中的镜像：

该后端支持通用存储属性 nodes、disable、content，以及以下 cephfs 专用属性：

如果使用默认启用的 cephx 认证，则需要提供来自外部 Ceph 集群的 secret。

要通过 CLI 配置存储，首先需要提供包含 secret 的文件。一种方式是直接从外部 Ceph 集群将该文件复制到某个 Proxmox VE 节点。以下示例会将其复制到运行命令节点的 /root 目录：

然后使用 pvesm CLI 工具配置外部 RBD 存储，并使用 --keyring 参数；该参数 需要指向已复制的 secret 文件路径。例如：

通过 GUI 配置外部 RBD 存储时，可以将 secret 复制并粘贴到相应字段中。

该 secret 仅包含密钥本身，不同于 rbd 后端；后者还包含 [client.userid] 段。

secret 将存储在：

可以使用以下命令以 Ceph 管理员身份从 Ceph 集群获取 secret，其中 userid 是已配置 为可访问该集群的客户端 ID。有关 Ceph 用户管理的更多信息，请参见 Ceph 文档。
[cephusermgmt]

cephfs 后端是在 Ceph 集群之上提供的兼容 POSIX 的文件系统。

^[1] 虽然目前没有已知缺陷，但由于缺少充分测试，快照尚不能保证稳定。

以下命令可用于查看存储状态，并通过 CLI 添加外部 CephFS 存储：

该后端的配置方式与目录存储类似。注意，将某个目录添加为 BTRFS 存储时， 如果该目录本身并不是挂载点，强烈建议通过 is_mountpoint 选项指定实际挂载点。

例如，如果 BTRFS 文件系统挂载在 /mnt/data2，并且要将其 pve-storage/ 子目录（建议可以是一个快照）添加为名为 data2 的存储池，可以使用以下条目：

为子卷或 raw 文件创建快照时，系统会创建一个只读子卷作为快照，其路径为 原路径后接 @ 和快照名称。

常用命令示例：

要使用 ZFS over iSCSI 插件，需要配置远程机器（target），使其接受来自 Proxmox VE 节点的 ssh 连接。Proxmox VE 会连接到 target，以创建 ZVOL 并通过 iSCSI 导出它们。 认证通过存储在 /etc/pve/priv/zfs/<target_ip>_id_rsa 的 ssh-key （无密码保护）完成。

以下步骤会创建 ssh-key，并将其分发到 IP 为 192.0.2.1 的存储机器：

该后端支持通用存储属性 content、nodes、disable，并支持以下 ZFS over iSCSI 专用属性：

ZFS over iSCSI 插件提供支持快照的共享存储。需要确保 ZFS 设备不会成为部署中的单点故障。

常用命令示例：