N3150+RTL8111网卡局域网跑不满千兆

ilongli

设备与固件系统
软路由用的板子是七彩虹的N3150，板载的是螃蟹的RTL8111F，另外插了一张某宝买的PCIE网卡（RTL8111E），固件是自己编译的L大openwrt。
电脑是intel的1150平台，E3 1230V3，系统WIN10 1909，板载的网卡是高通AR8171。



测试方案
电脑网口通过网线直连软路由LAN口，使用iperf3测速。
电脑使用的版本是iperf-3.1.3-win64。
软路由用的版本是iperf3 - 3.6-1。


测速结果
①
电脑作为服务端：

1. iperf3.exe -s

复制代码

软路由作为客户端（此处ip为电脑获取到的ip）：

1. iperf3 -c 192.168.1.149

复制代码

此时是能跑满千兆的：


②
反过来，软路由作为服务端，电脑作为客户端：

1. ## 软路由
   
2. iperf3 -s
   
3. ## 电脑
   
4. iperf3.exe -c 192.168.1.1

复制代码

此时就跑不满了千兆了：

只有82MB/s左右的速度，此时软路由WAN口是PPPOE拨了号的，如果WAN口不拨号，能跑到103MB/s左右，懒得截图了。
此时软路由的CPU占用：

CPU并没有吃满，用htop看单核也没有吃满，就不上图了。
· 以为是固件的问题，自己前前后后反复编译了几次，结果一样。
· 再怀疑是openwrt的问题，软路由插制作好的U盘，进PE系统测。
此时就不是软路由做网关了，而是电脑一方做网关（因为不知道为什么我的N3150在PE系统下点网络管理就花屏不能操作了），不过误打误撞，结果很意外：
此时结果正好相反，软路由的iperf3做服务端，电脑做客户端，能跑满113MB/s；但电脑做服务端，软路由做客户端，只能跑到98MB/s左右。图就懒得上了。

③
不服气，某宝50多买了张intel的82576双口PCIE网卡怼了上去，结果就是怎么折腾都能跑满千兆了（无论谁做服务端、谁做网关）。
下面是软路由做服务端（openwrt系统，并且WAN口拨了号），电脑做客户端的测试结果：


而且CPU占用低很多：



总结与疑惑
这里对测试结果总结一下：
①对于螃蟹的RTL8111网卡，这里无论是板载的还是PCIE的我都测过的，结果是一样的，跑不满千兆：
作为网关一方的设备，并且用iperf3作为服务端的时候，是跑不满的，只有100MB/s左右，如果WAN口拨号了，这个速度会更低（82MB/s左右）。此时软路由的CPU占用比较高，40%~50%不等。
而作为接入方设备，用iperf3作为服务端的时候，是能跑满113MB/s的。
②网卡换成INTEL的82576双口PCIE网卡，随便折腾都能跑满千兆，并且CPU占用会降低很多，15%~25%不等。

很奇怪，明明CPU没有吃满（单核心也没有吃满），但螃蟹的网卡就是跑不满千兆，但反过来的一方的iperf3做服务端时却能跑满（具体情况要看谁做网关）。
是N3150这个平台的问题么？
电脑的板载高通网卡应该不是瓶颈（有待商榷）。

不过有一点是能确定的，intel的高端网卡确实稳很多，并且CPU占用低不少，不差钱最好还是上intel的高端网卡。
以上结果仅对螃蟹的RTL8111和intel的82576而言，仅供参考。
欢迎有条件的版友提供测试结果参考。

5112075

8111是低端了点，占用CPU要比英特尔的高

akw2312

iperf3 可以在客户端添加 -R 测试下行，就不需要反着开服务端了。

intel使用igb驱动的网卡(82576/i340/i350/i210/i211/i354)，CPU开销比较低是正常的，一来是网卡支持的offload比较多，二来是驱动也写的好。(另外 igb 也支持RSS，也就是可以分散中断到不同核心上)
而螃蟹只能单核处理，没有RSS支持。

BTW, OpenWRT内的螃蟹网卡驱动都是r8169，螃蟹自己有维护一个驱动叫r8168，性能可能会有一点区别吧。

AR8171的话应该就是Killer E2400，这玩意虽然坑但iperf这种负载，千兆还是能达到的.

wulishui

感觉主要问题还是出在驱动上

ShengX87

思考一下

墨色之月

akw2312 发表于 2020-4-29 23:15
iperf3 可以在客户端添加 -R 测试下行，就不需要反着开服务端了。

intel使用igb驱动的网卡(82576/i340/i ...

8111F是四路的RSS，这里的问题不是出在RSS上，单纯就是驱动和芯片的问题。毕竟82576也算是个中高端卡了。

ember2011

op驱动问题，op的驱动螃蟹几乎不支持任何offload， 如果是win或者ubuntu,centos之类的linux发行版甚至是群晖，螃蟹和intel网卡基本没多少区别

墨色之月

说起来有哪个openwrt版本集成螃蟹r8168版本驱动的，好像很多都是r8169兼容驱动，这导致螃蟹网卡没法发挥性能

ilongli

大概看了下大家的回复，感觉都是集中在openwrt的驱动问题，以后有空我抽个时间测测在windows或Ubuntu下的表现。

墨色之月

突然想到你这不是lan to lan吗，和软路由的转发性能之类没关系啊，这个不满速的话确实很奇怪。
我刚在电脑和软路由上装上了iperf3试试，当然只是电脑和软路由分别做服务端测试，用软路由PPPOE拨号中测试的（光猫开桥接，软路由拨号），没换电脑拨号试过也没试过不拨号测试。

电脑是神船TX7-CT5DS，自带的螃蟹网卡我也不知道是8111E还是F还是G还是什么鬼反正都没什么区别...

软路由是研华ARK6322，J1900，2个8111E螃蟹网卡。（自然是咸鱼来的，498...这种东西我怎么买得起全新的，我还把原装的内存和硬盘出掉了换钱，用1G内存+U盘代替了）

固件是SixGodNero老哥编译的，带USB网卡驱动的固件（因为我要插IPTV机顶盒，所以买了个USB网卡，刚好这个固件支持），https://www.right.com.cn/forum/thread-3329010-1-1.html

是这样的结果：

wulishui

墨色之月 发表于 2020-4-30 12:42
说起来有哪个openwrt版本集成螃蟹r8168版本驱动的，好像很多都是r8169兼容驱动，这导致螃蟹网卡没法发挥性 ...

那个8168驱动最好不要用，会偶尔重启网卡不能驱动。官方8169没问题。

墨色之月

wulishui 发表于 2020-5-2 00:46
那个8168驱动最好不要用，会偶尔重启网卡不能驱动。官方8169没问题。

哦，明白了。
我还有个iperf的事想请问下如果老哥懂的话还请指点。

如果用iperf3在软路由上作服务器，电脑直接iperf3 -c <WAN口PPPOE拨号得到的IP地址>，这样得到的是否是wan to lan的值？

我尝试了这样做，结果和lan to lan的结果没区别，一样是满940M，所以我怀疑这个是不是准确。

99010

感觉楼主是卖Intel网卡的。

我的垃圾软路由，d2550，双螃蟹网卡，openwert官方19.07.2固件。

墨色之月

又想起这个贴子了，今天拿到了新玩具N3160（咸鱼330淘的小铝盒自带4G内存64G硬盘，ES的N3160没有睿频最高只有1.6G，还不如N3150），当然是螃蟹网卡，查看网卡信息是：
root@OpenWrt:~# ethtool -i eth0
driver: r8169
version:
firmware-version: rtl8168e-3_0.0.4 03/27/12
expansion-rom-version:
bus-info: 0000:01:00.0
supports-statistics: yes
supports-test: no
supports-eeprom-access: no
supports-register-dump: yes
supports-priv-flags: no


应该是8111E的（8111和8168...应该没区别）

关掉Flow Offloading测了下：



这个是单臂路由，直接电脑连交换机，iperf3连WAN口IP测的，当然是在PPPOE拨号状态下。

图中可见CPU占用峰值达到3.04了（N3160是4核的，100%*3.04/4=76%）,不过跑千兆是完全足够了。

而且这货带AES，跑科学也不错。

lizhengju

和楼主相反 我是电脑作为服务端跑700多M