软件定义网络

Proxmox VE SDN 栈自 2019 年起作为实验性功能提供，并持续由众多开发者和用户改进、 测试。随着它在 Proxmox VE 6.2 中集成到 Web 界面，SDN 朝更广泛集成迈出了重要一步。 在 Proxmox VE 7 发布周期中，又加入了大量改进和功能。根据用户反馈可以看出，其基础 设计选择和实现已经相当可靠、稳定。因此，继续将 SDN 栈标记为 ‘experimental’ 已经不能准确反映其状态。到 Proxmox VE 8，项目决定为 SDN 功能的完整集成奠定基础， 将网络和接口管理提升为 Proxmox VE 访问控制栈中的核心组件。在 Proxmox VE 8.1 中达成了 两个重要里程碑：首先，为 IP 地址管理（IPAM）功能加入了 DHCP 集成；其次， SDN 集成现在默认安装。

当前 SDN 安装中各层的支持状态如下：

自 Proxmox VE 8.1 起，核心软件定义网络（SDN）软件包会默认安装。

如果从旧版本升级，需要在每个节点上安装 libpve-network-perl 软件包：

安装完成后，需要确保所有节点的 /etc/network/interfaces 配置文件末尾存在以下 一行，以便包含并激活 SDN 配置。

内置 PVE IP 地址管理栈中的 DHCP 集成目前使用 dnsmasq 分配 DHCP 租约。 该功能目前需要显式启用。

要使用该功能，需要在每个节点上安装 dnsmasq 软件包：

Proxmox VE SDN 栈在高级场景中使用 FRRouting 项目。 该功能目前需要显式启用。

要使用 SDN 路由集成，需要在所有节点上安装 frr-pythontools 软件包：

然后在所有节点上启用 frr 服务：

以下选项适用于所有区域类型：

这是最简单的插件。它会创建一个隔离的 VNet 网桥。该网桥不连接物理接口，虚拟机 流量只在各自节点本地存在。它可用于 NAT 或路由式设置。

VLAN 插件使用现有的本地 Linux 或 OVS 网桥连接到节点的物理接口。它使用 VNet 中 定义的 VLAN 标记来隔离网段。这样可实现不同节点上虚拟机之间的连通。

VLAN 区域配置选项：

QinQ 也称为 VLAN 堆叠，它使用多层 VLAN 标记进行隔离。QinQ 区域定义外层 VLAN 标记（Service VLAN），内层 VLAN 标记则由 VNet 定义。

QinQ 区域配置选项：

VXLAN 插件在现有网络（underlay）之上建立隧道（overlay）。它使用默认目标端口 4789，将第 2 层以太网帧封装在第 4 层 UDP 数据报中。

需要自行配置 underlay 网络，以启用所有对等节点之间的 UDP 连通性。

例如，可以在公网之上创建 VXLAN 覆盖网络，让虚拟机看起来像共享同一个本地 第 2 层网络。

VXLAN 区域配置选项：

EVPN 区域会创建可路由的第 3 层网络，并能够跨越多个集群。这通过建立 VPN 并将 BGP 用作路由协议来实现。

EVPN 的 VNet 可以拥有任播 IP 地址和/或 MAC 地址。每个节点上的网桥 IP 相同， 这意味着虚拟客户机可以将该地址用作网关。

路由可以通过 VRF（Virtual Routing and Forwarding）接口在不同区域的 VNet 之间 工作。

EVPN 区域配置选项：

EVPN 区域需要外部控制器来管理控制平面。EVPN controller 插件会配置 Free Range Routing（frr）路由器。

要启用 EVPN controller，需要在每个节点上启用 FRR，参见 安装 FRRouting。

EVPN controller 配置选项：

BGP controller 不会被区域直接使用。可以使用它配置 FRR 以管理 BGP 对等体。

对于 BGP-EVPN，它可用于按节点定义不同 ASN，从而实现 EBGP。它也可用于向外部 BGP 对等体导出 EVPN 路由。

BGP controller 配置选项：

ISIS controller 不会被区域直接使用。可以使用它配置 FRR，以将 EVPN 路由导出到 ISIS 域。

ISIS controller 配置选项：

Proxmox VE 集群默认内置的 IPAM。

可以通过数据中心配置中 SDN 部分的 IPAM 面板查看 PVE IPAM Plugin 的当前状态。 该 UI 可用于创建、更新和删除 IP 映射。配合 DHCP 功能 使用时尤其方便。

如果正在使用 DHCP，可以通过 IPAM 面板为特定虚拟机创建或编辑租约，从而更改通过 DHCP 分配的 IP。编辑使用 DHCP 的虚拟机 IP 时，必须确保强制客户机获取新的 DHCP 租约。通常可以通过重新加载客户机网络栈或重启客户机完成。

NetBox 是一个开源 IP 地址管理 （IPAM）和数据中心基础设施管理（DCIM）工具。

要将 NetBox 与 Proxmox VE SDN 集成，请按照此处说明在 NetBox 中创建 API token： https://docs.netbox.dev/en/stable/integrations/rest-api/#tokens

NetBox 配置属性如下：

在 phpIPAM 中，需要创建一个 "application"，并向该 application 添加具有管理员权限的 API token。

phpIPAM 配置属性如下：

https://doc.powerdns.com/authoritative/http-api/index.html

需要在 PowerDNS 配置中启用 Web 服务器和 API：

PowerDNS 配置选项如下：

可以在 Web UI 的 Zones 面板中，通过区域高级选项启用 DHCP，为区域启用自动 DHCP。

为区域启用自动 DHCP 后，需要为该区域中的子网配置 DHCP 范围。为此，请进入 Vnets 面板并选择要配置 DHCP 范围的子网。在编辑对话框中，可以在相应标签页配置 DHCP 范围。也可以通过以下 CLI 命令为子网设置 DHCP 范围：

还需要为子网配置网关，否则自动 DHCP 将无法工作。

随后，DHCP 插件只会在配置的范围内从 IPAM 分配 IP。

也不要忘记按照 dnsmasq DHCP plugin 的安装步骤 操作。

防火墙会在 SDN 范围内为每个 VNet 自动生成以下 IPSets：

更改配置时，IPSets 会自动更新，因此更改子网配置时不必同步更新防火墙规则。

如果使用内置 PVE IPAM，防火墙会为 IPAM 中存在条目的每个客户机自动生成一个 IPset。ID 为 100 的客户机对应 IPset 为 guest-ipam-100。它包含所有 IPAM 条目 中的全部 IP 地址。因此，如果客户机 100 属于多个 VNet，该 IPset 将包含来自 所有 VNet 的 IP。

条目被添加、更新或删除时，相应 IPSets 会同步更新。

Simple 区域网络会为单台主机上的客户机创建一个隔离网络，使它们能够互相通信。

两个虚拟机中的网络接口配置可以如下所示，这允许它们通过 10.0.1.0/24 网络通信。

如果希望允许 simple 网络区域中的客户机向外建立连接，simple 区域提供了 源 NAT（SNAT）选项。

基于link:/pve-docs/chapter-pvesdn.html#pvesdn_setup_example_simple[上述]配置，向 VNet vnet1 添加一个子网， 设置网关 IP，并启用 SNAT 选项。

在客户机中配置位于该子网 IP 范围内的静态 IP 地址。

节点本身会使用网关 IP 172.16.0.1 加入该网络，并作为子网范围内客户机的 NAT 网关。

当不同节点上的虚拟机需要通过隔离网络通信时，VLAN 区域可使用 VLAN 标记实现 网络级隔离。

创建名为 myvlanzone 的 VLAN 区域：

创建名为 myvnet1 的 VNet，使用 VLAN 标记 10，并关联前面创建的 myvlanzone。

通过主 SDN 面板应用配置，以便在每个节点本地创建 VNet。

在 node1 上创建一个基于 Debian 的虚拟机（vm1），并为其配置位于 myvnet1 上的 vNIC。

该虚拟机使用以下网络配置：

在 node2 上创建第二台虚拟机（vm2），并为其配置与 vm1 相同 VNet myvnet1 上的 vNIC。

该虚拟机使用以下网络配置：

完成后，应能够通过该网络在两台虚拟机之间互相 ping 通。

本示例配置两个 QinQ 区域，并向每个区域添加两台虚拟机，用于演示额外 VLAN 标记层 如何支持配置更隔离的 VLAN。

该配置的典型使用场景是托管服务提供商为客户提供隔离网络供虚拟机通信，同时将 这些虚拟机与其他客户隔离。

创建名为 qinqzone1、service VLAN 为 20 的 QinQ 区域

创建另一个名为 qinqzone2、service VLAN 为 30 的 QinQ 区域

在前面创建的 qinqzone1 区域上创建名为 myvnet1、VLAN-ID 为 100 的 VNet。

在 qinqzone2 区域上创建 VLAN-ID 为 100 的 myvnet2。

在主 SDN Web 界面面板上应用配置，以在每个节点本地创建 VNet。

创建四台基于 Debian 的虚拟机（vm1、vm2、vm3、vm4），为 vm1 和 vm2 添加使用 网桥 qinqvnet1 的网络接口，为 vm3 和 vm4 添加使用网桥 qinqvnet2 的网络接口。

在虚拟机内部配置接口 IP 地址，例如通过 /etc/network/interfaces：

为四台虚拟机配置 10.0.3.101 到 10.0.3.104 范围内的 IP 地址。

现在应能够在虚拟机 vm1 与 vm2 之间，以及 vm3 与 vm4 之间互相 ping 通。 但是，vm1 或 vm2 都无法 ping 通 vm3 或 vm4，因为它们位于不同区域，并 使用不同的 service-VLAN。

本示例假设有一个包含三个节点的集群，节点 IP 地址分别为 192.168.0.1、 192.168.0.2 和 192.168.0.3。

创建名为 myvxlanzone 的 VXLAN 区域，并将所有节点 IP 添加到 peer address list。 使用默认 MTU 1450，或根据实际情况配置。

使用前面创建的 VXLAN 区域 myvxlanzone 创建名为 vxvnet1 的 VNet。

在主 SDN Web 界面面板上应用配置，以在每个节点本地创建 VNet。

在 node1 上创建一台基于 Debian 的虚拟机（vm1），并为其配置位于 vxvnet1 上的 vNIC。

该虚拟机使用以下网络配置（注意较低的 MTU）。

在 node3 上创建第二台虚拟机（vm2），并为其配置与 vm1 相同 VNet vxvnet1 上的 vNIC。

该虚拟机使用以下网络配置：

随后，应能够在 vm1 与 vm2 之间互相 ping 通。

本示例假设有一个包含三个节点（node1、node2、node3）的集群，节点 IP 地址分别为 192.168.0.1、192.168.0.2 和 192.168.0.3。

创建一个 EVPN controller，使用私有 ASN 编号，并将上述节点地址作为 peers。

创建名为 myevpnzone 的 EVPN 区域，分配前面创建的 EVPN-controller，并将 node1 和 node2 定义为出口节点。

使用 EVPN 区域 myevpnzone 创建第一个名为 myvnet1 的 VNet。

在 myvnet1 上创建子网：

使用同一个 EVPN 区域 myevpnzone 创建第二个名为 myvnet2 的 VNet。

在 myvnet2 上创建另一个子网：

从主 SDN Web 界面面板应用配置，以在每个节点本地创建 VNet 并生成 FRR 配置。

在 node1 上创建一台基于 Debian 的虚拟机（vm1），并为其配置位于 myvnet1 上的 vNIC。

为 vm1 使用以下网络配置：

在 node2 上创建第二台虚拟机（vm2），并为其配置位于另一个 VNet myvnet2 上的 vNIC。

为 vm2 使用以下网络配置：

现在应能够从 vm1 ping 通 vm2，也能从 vm2 ping 通 vm1。

如果从非网关 node3 上的 vm2 ping 外部 IP，数据包会先到达配置的 myvnet2 网关，然后路由到出口节点（node1 或 node2），再从这些节点经由 node1 或 node2 上配置的默认网关离开。

如果已配置外部 BGP 路由器，BGP-EVPN 路由（本例中为 10.0.1.0/24 和 10.0.2.0/24）将动态通告。

如果有多个网关节点，应禁用 rp_filter（Strict Reverse Path Filter）选项，因为 数据包可能从一个节点进入，却从另一个节点发出。

将以下内容添加到 /etc/sysctl.conf：

要在 VXLAN 之上添加 IPSEC 加密，本示例展示了如何使用 strongswan。

需要为加密额外降低 MTU：IPv4 降低 60 字节，IPv6 降低 80 字节。

因此，在实际默认 MTU 为 1500 的情况下，需要使用 1370 的 MTU（1370 + 80 (IPSEC) + 50 (VXLAN) == 1500）。

在主机上安装 strongswan。

向 /etc/ipsec.conf 添加配置。这里只需要加密来自 VXLAN UDP 端口 4789 的 流量。

使用以下命令生成预共享密钥：

并将密钥添加到 /etc/ipsec.secrets，使文件内容如下所示：

将 PSK 和配置复制到参与 VXLAN 网络的所有节点。