1150天 墨茶

Never Say Never

TAT

TAT

备忘：Proxmox Virtual Environment（PVE）7.x安装方法、基础使用和配置与常见问题

墨茶    11个月前  944次浏览  0条评论  5704字   原创

写在前面

PVE的配置是个很枯燥无味的事情，也时常会出现各种奇奇怪怪的问题，很多时候一个相同的错误会犯好几次，为了尽可能的在提高效率的同时减少错误率，还是写一篇文章备忘吧。同时此文章或许也可以帮助到搜到此博客的有缘人，降低使用门槛。很惭愧，只做了一点微小的贡献。

此文章假设本机IP为192.168.1.101，子网掩码为255.255.255.0（CIDR /24），网关为192.168.1.1，以此假设为基础进行撰写，需要以root身份执行所有命令。

安装方法

此处仅列出基于Debian 11的安装方法，原系统只安装了“标准系统实用程序”和“SSH 服务器”且无桌面环境。其他版本或直接使用ISO安装可查看PVE wiki。下方列出的安装方法参考了Install Proxmox VE on Debian 11 Bullseye，是此页面的汉化版本，并进行了修改，更加人性化且适合中文母语者阅读，此处列出的每一步都是不可忽略的。

  1. 安装接下来可能需要的包。
    apt install -y vim wget
  2. 为本机修改hostname。
    echo hostname > /etc/hostname
  3. 为本机IP地址添加“/etc/hosts”条目（此处可能涉及到的vim快捷键：a(或i) -- 进入编辑模式 \ Esc -- 退出编辑模式 \ dd -- 删除光标所在行 \ u -- 撤销 \ ^r -- 回退(反撤销) \ :wq -- 保存并退出）。
    vim /etc/hosts

#如果主机名为hostname，本机IP为192.168.1.101，那么需要添加（修改）的内容如下所示：
127.0.0.1 localhost
192.168.1.101 hostname hostname

#以下行适用于支持IPv6的主机：
::1 localhost ip6-localhost ip6-loopback 
ff02::1 ip6-allnodes 
ff02::2 ip6-allrouters

    注意：这也意味着删除默认存在的地址127.0.1.1。

  4. 重启。
    reboot
  5. 使用“hostname”命令验证2、3步操作是否正确。
    hostname --ip-address

#此命令的输出应为本机IP地址，例如：
192.168.1.101
  6. 在“sources.list”中添加PVE存储库。
    echo "deb [arch=amd64] http://download.proxmox.com/debian/pve bullseye pve-no-subscription" > /etc/apt/sources.list.d/pve-install-repo.list
  7. 将PVE存储库密钥添加到可信密钥。
    wget https://enterprise.proxmox.com/debian/proxmox-release-bullseye.gpg -O /etc/apt/trusted.gpg.d/proxmox-release-bullseye.gpg
  8. 验证GPG密钥。
    sha512sum /etc/apt/trusted.gpg.d/proxmox-release-bullseye.gpg

#输出内容应与下列字符串完全相同：
7fb03ec8a1675723d2853b84aa4fdb49a46a3bb72b9951361488bfd19b29aab0a789a4f8c7406e71a69aabbc727c936d3549731c4659ffa1a08f44db8fdcebfa  /etc/apt/trusted.gpg.d/proxmox-release-bullseye.gpg
  9. 更新存储库和系统。
    apt update && apt full-upgrade
  10. 安装PVE软件包。如果配置较低，这可能需要相当长的时间。
    apt install proxmox-ve postfix open-iscsi

    如果网络中有邮件服务器，应该将postfix配置为“satellite system”。然后，现有的邮件服务器将成为relay host，它会将PVE发送的电子邮件路由到其最终收件人。如果不知道在此处输入什么，应选择“local only”并保持system name不变。安装过程中如出现提示“Configuring grub-pc”，选择“keep the local version currently installed”即可。

  11. 重启。
    reboot
  12. 删除Debian内核。
    apt remove linux-image-amd64 'linux-image-5.10*'
  13. 更新grub2。
    update-grub
  14. 使用web界面（https://你的IP地址:8006/）管理PVE，必须使用https访问，选择PAM身份验证并使用root帐户凭据登录。
  15. 登录后，创建一个名为vmbr0的Linux网桥，将第一个网络接口添加到其中并点击应用配置。Linux网桥.png

基础使用和配置

创建虚拟机

Debian 11

咕咕咕。

Kali 2022.1

咕咕咕咕。

Windows Server 2019

咕咕咕咕咕。

Windows Server 2022

咕咕咕咕咕咕。

创建CT（LXC容器）

咕咕咕咕咕咕咕。

IPv4 NAT

IPv4 NAT主要用于只有一个IP的服务器，IP数量大于1可以不进行设置，但需注意虚拟机数量不能大于等于IP数量。

  1. 开启IPv4转发。
    vim /etc/sysctl.conf

#需要添加以下内容：
net.ipv4.ip_forward = 1
net.ipv4.conf.all.forwarding = 1

#以下IPv6相关内容可不添加：
net.ipv6.conf.all.forwarding = 1
net.ipv6.conf.all.accept_ra=2
net.ipv6.conf.all.proxy_ndp = 1
net.ipv6.conf.all.autoconf=1
  2. 配置IPv4 NAT。添加内网网卡，将所有内网出流量转发到公网网卡（vmbr0），内网IP地址和掩码等信息可以自行修改。
    vim /etc/network/interfaces

auto vmbr1
iface vmbr1 inet static
	address  10.0.0.254
	netmask  255.255.255.0
	bridge-ports none
	bridge-stp off
	bridge-fd 0
    iptables -t nat -A POSTROUTING -s 10.0.0.0/24 -o vmbr0  -j MASQUERADE
  3. （推荐）为单IP配置端口转发（Port forwarding）。此处以内网设备10.0.0.1为例，将公网所有发送至80和443端口的TCP、UDP流量转发到到内网IP10.0.0.1的相同端口上。
    iptables -t nat -A PREROUTING -i vmbr0 -d 192.168.1.101/24 -p tcp -m multiport --dports 80,443 -j DNAT --to 10.0.0.1
iptables -t nat -A PREROUTING -i vmbr0 -d 192.168.1.101/24 -p udp -m multiport --dports 80,443 -j DNAT --to 10.0.0.1
  4. （推荐）如果执行了第3步，还需配置端口回流（Hairpin NAT），即解决内网设备无法通过本机公网IP访问内网服务的问题。将所有来源为内网网段、目标为本机公网IP且发送至80和443端口的TCP、UDP流量直接发送到内网IP10.0.0.1的相同端口上。
    iptables -t nat -A PREROUTING -s 10.0.0.0/24 -d 192.168.1.101 -p tcp -m multiport --dports 80,443 -j DNAT --to-destination 10.0.0.1
iptables -t nat -A PREROUTING -s 10.0.0.0/24 -d 192.168.1.101 -p udp -m multiport --dports 80,443 -j DNAT --to-destination 10.0.0.1
  5. 将来源和目标均为内网网段的流量直接发送给内网网关。
    iptables -t nat -A POSTROUTING -s 10.0.0.0/24 -d 10.0.0.0/24 -j SNAT --to-source 10.0.0.254
  6. 让内核参数生效。
    sysctl -p
  7. 使用“iptables-save”并搭配开机启动项将iptables nat表条目持久化。
    iptables-save -t nat -c > /root/iptout-nat
    vim /etc/init.d/iptnat

#需要添加以下内容：
#! /bin/bash

### BEGIN INIT INFO
# Provides:		iptnat
# Required-Start:	$all
# Required-Stop:	$local_fs $remote_fs $network $syslog
# Default-Start:	2 3 4 5
# Default-Stop:		0 1 6
# Description:       	add some rules to iptables nat table
# Short-Description:	iptadd
### END INIT INFO

nohup iptables-restore -w < /root/iptout-nat &

    chmod 755 /etc/init.d/iptnat
update-rc.d iptnat defaults 0 0
  8. 重启并验证配置是否生效。
    reboot
  9. 后续设置虚拟机的网络设备时，需桥接到内网网卡（vmbr1）并按照内网网卡配置进行配置，同一内网IP地址不能同时使用。

IPv6支持

咕咕咕。

常见问题

ipcc_send_rec[1] failed

错误描述

ipcc_send_rec[1] failed: Connection refused

解决方案

检查“/etc/hosts”是否按照教程正确配置。

节点或虚拟机状态为未知或离线

错误描述

web管理界面出现问题，所有节点和在其上运行的所有VM/容器都显示为“unknown”状态（或是“offline”状态）。

解决方案

systemctl restart pvedaemon
systemctl restart pveproxy
systemctl restart pvestatd

虚拟机无法关机和重启

错误描述

新创建的虚拟机在主控端向虚拟机发送关机/重启命令后，命令长时间显示执行中（状态一直为“running”），但虚拟机并没有执行关机/重启命令，最后报错：

TASK ERROR: VM quit/powerdown failed

解决方案

此问题共三种解决方案，根据适合自己的方案任选其一即可。

安装QEMU Guest Agent服务
  1. 如果在虚拟机选项中启用了QEMU Guest Agent，那么需要为虚拟机安装此管理软件才能解决此问题。此处以Debian为例，其他发行版应使用自己的依赖管理工具，例如Centos需使用“yum”，Windows需要下载“VirtIO”。
    apt install qemu-guest-agent -y
  2. 安装后启动服务。
    systemctl start qemu-guest-agent
  3. 启动后验证服务是否正常启动。
    systemctl status qemu-guest-agent
    状态为active(running)即为正常，或使用：
    ps aux | grep qemu

    能找到qemu-ga即为正常。

关闭QEMU Guest Agent选项

在虚拟机选项中禁用QEMU Guest Agent。

关闭QEMU代理.png

使用停止命令（强制关机）

不推荐此方法，因为可能损坏虚拟机文件系统造成数据丢失或其他更为严重的后果。

在web管理界面中的虚拟机关机按钮右侧下拉框中点击停止按钮。

停止虚拟机.png

或在shell中输入停止命令来停止虚拟机，此命令中的vmid是需要关闭的虚拟机的ID。

qm stop vmid

如果执行此命令后报错：

trying to acquire lock...

TASK ERROR: can't lock file '/var/lock/qemu-server/lock-vmid.conf' - got timeout

那么需要先删除报错中提及的锁，然后重新执行停止命令。

rm -f /var/lock/qemu-server/lock-vmid.conf
qm stop vmid

宿主机频繁崩溃（重启）

错误描述

宿主机经常在持续运行几小时到几天后崩溃（重启），“uptime”系统在线时间被刷新、“last reboot”显示有多个条目still running（案例：Debian - two entries in `last reboot` in `still running`）、“/var/log/syslog”和“/var/log/messages”均未显示任何异常，但在重启前可能存在很长一段时间日志记录中断。

解决方案

此问题没有明确的解决方案。在PVE中出现这种问题的通常原因是由于watchdog检测到IO太慢或卡死，认为系统出现异常才使服务器崩溃重启以尝试解决，需要尽快调查硬件方面是否存在问题，或是系统负载是否过高、硬件是否过于老旧并考虑进行硬件升级，尤其是需要监测RAID卡和硬盘是否存在问题。

可以临时使用以下命令停止watchdog以定位崩溃是否由watchdog造成和寻找相关问题原因：

systemctl stop watchdog-mux

注意：不应该因为此问题永久修改watchdog配置，这完全是掩耳盗铃。

本文为原创文章，除非在文章中另有说明，本文章采用CC BY 4.0协议授权，转载请注明来源。

打赏 分享
未显示?请点击刷新