说一下最近折腾 PVE 虚拟机遇到坑

wildess

1、核显直通后，显示器无显示，虚拟机里安装不了显卡驱动，设备管理器里显卡前面有黄色叹号。结果：有人说UHD630需要旧版显卡驱动，我装了还是不行；有人说是我这个型号的微星主板不支持显卡直通hdmi，无解。（最后解决：是微信b460主板的问题，换主板解决了）

2、用添加USB供应商/设备ID或者添加USB端口的方法直通USB设备，鼠标键盘正常，但是无法插USB硬盘盒、U盘和连接安卓手机，会识别不了，而直通USB的PCI设备没有这些问题。

3、给虚拟机添加TPM或者系统盘使用scsi模式，会导致虚拟机里的windows系统无法正常休眠，这里是指在windows系统里面执行休眠，不是在PVE面板休眠虚拟机。

4、直通硬件的虚拟机，在PVE控制面板休眠后再启动，USB鼠标键盘会失效，要重启PVE才行；但是在windows虚拟机里执行休眠操作，再启动，USB鼠标键盘没问题。

5、windows里网速慢，网卡速率是10Gbps，但局域网内测速只有1-2Gpbs，后来发现是第三方杀毒软件影响网速，改用windows自带的杀毒软件解决问题

6、用pvetools软件给PVE面板加上温度、CPU频率显示，再取消显示后，面板显示不正常，最后重装整个PVE！

7、挂载ntfs硬盘并把虚拟机硬盘放在上面，主机突然断电的话，大概会导致磁盘出问题无法挂载无法启动。

8、把硬盘挂载成PVE的目录，在上面创建虚拟机硬盘，创建一个500G的硬盘，要很久很久很久。后来发现是会直接生成一个足量的500G大小的虚拟硬盘文件，而不是大小慢慢增长。后来发现将目录的“预分配”设置为“off”可以解决这个问题，不过这样会导致虚拟硬盘性能降低，但可以接受。

9、备份PVE本身，用ghost和diskgen备份都失败，后来用了clonezilla和dd命令备份成功。

10、虚拟机直通硬盘读写速度慢，后来才明白qm set <vmid> --scsiX /dev/disk/by-id/xxxxxxx 不是真正的直通

11、PVE安装KDE Plasma桌面后，一启动某台虚拟机，整个PVE和整个局域网都挂掉，家里的手机、其他电脑都上不了网，连不上网关路由器。后来知道在宿主机屏蔽对独显的调用就行了。至于为什么局域网也会挂掉，至今仍是个迷。

12、明明设置了虚拟机的“启动延时”，但实际上没有延时，或者延时的时长不对。后来发现“启动延时”的意思并不是这台虚拟机会延时多久启动，而是指这台虚拟机启动后，延时多久才启动下一台虚拟机！很奇葩吧。后来在发现歪果论坛也有人提到这个问题。

13、直通了显卡的windows虚拟机，关屏后功耗比开屏正常使用还大，结合歪果论坛有人提到虚拟机关机后直通的显卡没人接管会变成最大功率运行，以为是这个问题。研究了很久，初步怀疑不是显卡问题，是关屏后windows系统自动进行硬盘碎片整理导致功耗变大。

14、某台windows虚拟里面有有三个硬盘，其中两个硬盘的读写速度很快，另一个硬盘很慢，研究了很久，才发现这个硬盘开启了“压缩此驱动器以节约磁盘空间”。

15、用bcache加速硬盘，加速成功，但是硬盘灯一直闪，空闲的时候也闪个不停，最后卸载bcache 解决。

16、想安装trueNAS和freeNAS，推荐用ecc内存，普通家庭使用有没有必要用ecc内存呢？ 搜索了很久，得出结果：大家家里的电脑没有ecc内存还不是一直在用？ 没有ecc的trueNAS并不会比没有ecc的windows更危险。

17、pve里的zfs写入速度非常慢，见 https://www.right.com.cn/forum/thread-8249975-1-1.html，于是想用缓存加速，设置了缓存 又取消缓存 后，出现和第15点同样的问题，解决不了，最后每次启动PVE后运行一次命令 systemctl restart systemd-udevd 暂时解决。

18、为了方便地在pve和vmware之间迁移虚拟机，使用vmdk格式作为pve虚拟机硬盘格式，并且没有预分配硬盘空间，后来才发现这种方式会导致虚拟机硬盘读写速度极慢。

19、对随身wifi usb共享网络支持不好：将随身wifi通过usb共享网络给pve宿主机，以及直通给openwrt，网速都非常慢，见 https://www.right.com.cn/forum/thread-8303540-1-1.html。最后解决方法：放弃pve，改用windows+hyper-v

20、pve使用pbs可以实现虚拟机增量备份，但是pbs需要使用固态硬盘性能才够用，如果用机械硬盘，在校验数据和清理数据的时候极慢。

21、其中一台虚拟机直通了网卡，但没有运行，每当备份这台虚拟机的时候，pve里的网卡就会丢失，要重启pve才行 (2024-10新增)

22、直通网卡给RouterOS的WAN，连接到RouterOS的电脑能ping通外网但是上不了网，改用虚拟网卡就正确，原因不明。 (2024-10新增)


上面每一个问题，都花了好几小时甚至好几天去研究解决，所以，折腾PVE的时间成本太大了。

zmd1986

宝贵经验，后来者避免走弯路

sunnymario007

好多问题同样遇到过，的确费时费力，索性就用pve+openwrt+lxc了，其他啥都不装

wangyuqi

pve没必要用bcache，使用zfs效果更好
truenas使用ecc内存理论上效果会更好，会比普通内存安全点，仅限于理论，实际使用都ok

poiu

要直通就用esxi 一键直通，还不用从启。

wildess

poiu 发表于 2022-8-17 14:13
要直通就用esxi 一键直通，还不用从启。

esxi里的windows虚拟机开启直通后，不能休眠，不能挂起，不能备份，不能创建快照，失去了虚拟机大部分最重要的功能，这是我不能接受的，就是这个原因所以改用PVE

wuwudaola

感谢作者的分享经验

edvin

咱用PVE就是因为备份还原虚拟机方便，随便折腾。

sujian42007

备份还原PVE本身，亲测可以用注册版的diskgen备份还原，选扇区备份（一定要选扇区）

sujian42007

还有，pve部署好软路由后安装kde桌面的过程中会断网（不会自动恢复网络，得重启），现在路由器不在身边，真的变all  in  boom了

RrFrank

经验好多，都是走过的坑啊

leesona

2.这个不会吧。我挂的铁威马das盒子和绿联盒子可以的呀。读写满速。

wildess

wangyuqi 发表于 2022-8-16 13:17
pve没必要用bcache，使用zfs效果更好
truenas使用ecc内存理论上效果会更好，会比普通内存安全点，仅限于理 ...

今天测试了pve 里面的zfs，发现写入性能非常差，不知怎么回事
https://www.right.com.cn/forum/thread-8249975-1-1.html

wildess

leesona 发表于 2022-8-18 17:44
2.这个不会吧。我挂的铁威马das盒子和绿联盒子可以的呀。读写满速。

可以是可以用，“固定”地使用可以，但是如果插、拔设备，就会不稳定。而直通USB所在PCI设备方式，会非常稳定。

wangyuqi

wildess 发表于 2022-8-19 20:48
今天测试了pve 里面的zfs，发现写入性能非常差，不知怎么回事
https://www.right.com.cn/forum/thread-8 ...

可能压缩问题换成lz4或者不开压缩，加入写缓存，也就是使用日志外部存储