【PVE】下用OPENWRT将直通网卡和虚拟网卡桥接后数据流异常

crazyduke

---------0609更新-------
经过不断测试，发现问题出在PVE，可能是7.2的5.15内核有问题，也可能是驱动有问题，导致虚拟网卡在半虚拟化模式（virtio）下数据异常。我在openwrt网卡设置里面改为E1000模式，数据流正常了，但是传输速度大幅下降。还没有解决这个问题
【PVE】版本7.2.4，机器配置是J4125+4口8125b 2.5G网卡，安装了8125b最新的官网驱动9.009.01（官网链接）；

【OPENWRT】是用https://www.right.com.cn/forum/thread-7182055-1-1.html X86_64-OpenWrt精简版固件 5.15内核的0603版，安装在PVE里面，我看里面是带了8125b的9.009.01驱动
【连接模式】机器1个网口是默认用来做PVE管理口的，模式是linux bridge，3个网口直接pci直通给openwrt，管理口作为虚拟网口也作为openwrt的网络设备连入，这样openwrt就有4个网口，在设置里面把4个网口做桥接（网络-接口-物理设置），由另外的软路由负责拨号和分配IP，openwrt关闭DHCP

【问题】这样绑定后，3个物理网口数据交互没有问题，物理网口和虚拟网口传输文件，文件会变化（MD5、SHA1等变化），比如FTP上传文件到PVE的文件夹，或者向虚拟机的黑群晖（绑定虚拟口）传输文件，主要是大文件会变化，导致压缩包打不开，电影画面撕裂等等。
【排查】关闭虚拟机的openwrt，PVE里面直接将4个网口桥接，解决问题，证明问题出在openwrt上。但是PVE下的桥接性能有损失，不如直通条件下能跑满2.5G口。
不知道有没有大侠指点一下openwrt该怎么设置可以解决问题？

crazyduke

另外，排除了内存故障，因为我用另一台j5005+4口8125b网卡，同样配置下也是这个故障。

crazyduke

接口下面的数据包负载均衡开关、Turbo ACC 网络加速设置下面Shortcut-FE 流量分载、全锥型 NAT开关，都没有解决故障。然后防火墙设置是这样的。

千山鸟飞绝

好的吧  我的就是diewu 4口2.5g     一样pve7.2   访问这个网卡共享点视频就会花屏   跟那种vcd碟片损坏一样   大概率文件传输过程中有损坏丢包

JMGutiH

从openos过来，分享下我自己的经历

b365m板载双intel 211+8100T+tplink ng421(8125b)
pve 7.1.7 + ( ROS + openwrt + dsm...)

ROS识别8125的驱动有问题，不管是否在pve里创建桥接、网卡是否直通给ROS，ROS里都无法给8125的设备DHCP分配IP；

最后无意间搞出来一个操作竟然有效：openwrt下把直通8125b、virtio板载211创建网桥；ROS 创建bridge含 virtio 8125b+virtio 211，对bridge分配DHCP

原理上稀碎，但实测竟然能用，iperf3双向也能跑满，台式机8125b - aio 8125b DSM拷贝速度也正常

sbug007

你解决了吗？  我也是这个问题，困扰有两年了。    我是ikuai  +op+ 黑裙，   只要直通或者虚拟2.5G或万兆卡给软路由，通过该口的数据就不正常。    跟OP没什么关系，  我只走IKUAI也是一样。  但我也是用的VIRTIO网卡桥接的三者

crazyduke

sbug007 发表于 2022-9-5 12:21
你解决了吗？  我也是这个问题，困扰有两年了。    我是ikuai  +op+ 黑裙，   只要直通或者虚拟2.5G或万兆 ...

最后我换了i226网卡的软路由，在pve+5.19内核下，同样的设置，没有出现贴子里面的问题，说明8125b的直通确实有问题。

sbug007

crazyduke 发表于 2022-9-27 14:48
最后我换了i226网卡的软路由，在pve+5.19内核下，同样的设置，没有出现贴子里面的问题，说明8125b的直通 ...

我8125B 和i225都是一样的问题，AQC107的问题更严重。。 换ESXI7.0 后 AQC107万兆连网都连不上，切换千兆卡就没问题晕了。     
万兆ALL IN ONE看样子是没戏了

sbug007

千山鸟飞绝 发表于 2022-6-27 18:02
好的吧  我的就是diewu 4口2.5g     一样pve7.2   访问这个网卡共享点视频就会花屏   跟那种vcd碟片损坏一 ...

这块我用过，切更换了最新驱动，也是一样问题，  换了i225 也是一样症状， 换万兆AQC107 症状更严重，网页都缺损。  跟卡和驱动应该关系不大。   实在找不出原因