优化 K2P Padavan CPU 多核心使用

xykz

已废弃，最终版见：https://www.right.com.cn/forum/thread-4031767-1-1.html



起因：https://www.right.com.cn/forum/thread-4025644-1-1.html
我家里外网带宽100M，路由带30个终端，除了SQM以外没有打开任何附加功能，固件是荒野无灯3.4.3.9-099_20180402-0237，开了SFE

这里重新描述一下我的场景，应该和大多数家里跑PT，又要播放内网NAS视频的人差不多的。

比如我NAS（有线）在跑PT，客厅的电视（有线）在放直播（非IPTV，电视家类P2P的），房间里投影（5G无线）在放NAS上的蓝光电影，外网带宽满载。

默认情况下，此时路由负载40~50%，蓝光电影时不时卡顿；起因帖子里也有大佬说了，是MTK的U设计问题，不能充分利用CPU；最近查了一下，发现v2ex和恩山都有大佬提供了以下配置用于改善这个问题：

1. echo 8 > /proc/irq/11/smp_affinity
   
2. echo 8 > /proc/irq/12/smp_affinity
   
3. echo 8 > /sys/class/net/eth2/queues/rx-0/rps_cpus
   
4. echo 8 > /sys/class/net/ra0/queues/rx-0/rps_cpus
   
5. echo 3 > /sys/class/net/eth3/queues/rx-0/rps_cpus

复制代码

昨晚试了一下，发现这个配置主要是针对大流量的公网传输，CPU0123分配了0和1处理外网，3处理无线和内网；但是在我的场景下还有内网大流量要处理，而且CPU2处于围观状态。

于是我自己调整了一下，终于让CPU0123在高负载下都处于一个均衡的状态了，配置如下（20200517更新，更新内容见12F）：

1. echo 3 > /proc/irq/11/smp_affinity
   
2. echo 3 > /sys/class/net/eth2/queues/rx-0/rps_cpus
   
3. echo 3 > /proc/irq/12/smp_affinity
   
4. echo 3 > /sys/class/net/ra0/queues/rx-0/rps_cpus
   
5. echo f > /sys/class/net/br0/queues/rx-0/rps_cpus
   
6. echo 3 > /sys/class/net/eth3/queues/rx-0/rps_cpus
   
7. echo c > /sys/class/net/ppp0/queues/rx-0/rps_cpus

复制代码

ppp0和eth3会占用大量的CPU，尤其是前者，所以把他们俩分开，eth3使用CPU0/1，ppp0使用CPU2/3
eth2和ra0用不了多少资源，让它们随eth3使用CPU0/1
br0也是个资源大户，但是CPU就那么多个，让它自己找个空闲的位置就好

测试场景如上文红字，不过把投影放电影改成了手机WIFI拉文件，速率稳定在100Mbps+，CPU使用情况见下图：



不过很奇怪的是，其实这个固件默认配置的情况下，也能这么跑，只是CPU0闲置，有一个会跑到70~80%，剩下两个40%左右；不过能跑是能跑，还是一开始说的那个问题，内网用无线看片会卡顿。

题外话：

最后，对于下PT/BT的朋友，和我同款固件的话，可以尝试一下下面的参数，可以改善大量UDP连接带来路由CPU使用率过高影响整体网络质量的问题，主要思路是快速释放掉没用的连接，避免系统浪费资源去跟踪：

1. echo 32768     > /proc/sys/net/core/somaxconn
   
2. echo 16384     > /proc/sys/net/core/netdev_max_backlog
   
3. echo 16384     > /proc/sys/net/ipv4/tcp_max_syn_backlog
   
4. echo 15       > /proc/sys/net/netfilter/nf_conntrack_tcp_timeout_close_wait
   
5. echo 30       > /proc/sys/net/netfilter/nf_conntrack_tcp_timeout_fin_wait
   
6. echo 30       > /proc/sys/net/netfilter/nf_conntrack_tcp_timeout_time_wait
   
7. echo 300      > /proc/sys/net/netfilter/nf_conntrack_tcp_timeout_established
   
8. echo 30       > /proc/sys/net/netfilter/nf_conntrack_udp_timeout
   
9. echo 120      > /proc/sys/net/netfilter/nf_conntrack_udp_timeout_stream

复制代码

huhu0623032

以前也有你这种类似问题，副路由k2p无线中继主路由r7900p，k2p刷荒野无灯20181012和1107的固件，斐讯t1有线连接k2p看电视，手机连Wi-Fi根本上不了网，查看k2p流量情况，上传几乎占满带宽，设置smq和更改连接数量均没什么效果，t1一点不卡。后来用了个闲置的tplink百兆电力猫有线连接t1，另一端连接主路由r7900p，主路由开启网件官方固件的自动qos，解决了这个问题。现在主路由换成ax3600，主路由后台直接t1限制上传速度，很好用。

xykz

huhu0623032 发表于 2020-5-15 14:36
以前也有你这种类似问题，副路由k2p无线中继主路由r7900p，k2p刷荒野无灯20181012和1107的固件，斐讯t1有线 ...

咱们情况不一样哈，你这个是上传满载导致的（也有可能你上传带宽比较大？满载之后K2P的CPU也打满了？）

我这个是公网内网都有传输需求，CPU本身策略不好，没有把负载分摊到各个核心上导致堵塞。

不过我这里20Mbps上传，只要看P2P网络电视肯定会满载，打开SQM之后很流畅

huhu0623032

官方固件虽然简单，功能还是稳定的

huhu0623032

200m电信，上传40m吧，有可能我中继选的lan口，路由模式，smq失效了。

xykz

huhu0623032 发表于 2020-5-15 14:45
200m电信，上传40m吧，有可能我中继选的lan口，路由模式，smq失效了。

LAN口要把eth3改成eth2

luhua

感谢分享 看起来很牛逼 我用的是高恪固件 适用吗？

xykz

luhua 发表于 2020-5-15 18:40
感谢分享 看起来很牛逼 我用的是高恪固件 适用吗？

适用，这个是修改linux的中断处理，与系统无关；建议是遇到了性能瓶颈，去终端看看htop的数据后再改，我这个固件比较老，高格很有可能已经处理过了

luhua

xykz 发表于 2020-5-15 19:06
适用，这个是修改linux的中断处理，与系统无关；建议是遇到了性能瓶颈，去终端看看htop的数据后再改，我 ...

谢谢，下次遇到问题了再来。

gs000373

这才是有技术含量的帖子

xykz

更新一版参数，之前那个还是有问题，大量连接数的情况下CPU1/2会满载，影响性能。

发现大量连接数+带宽满载的情况下，ppp0和eth3都是会占用大量的CPU，尤其是前者，所以把他们俩分开，eth3使用CPU0/1，ppp0使用CPU2/3

eth2和ra0用不了多少资源，让它们随eth3使用CPU0/1

br0也是个资源大户，但是CPU就那么多个，让它自己找个空闲的位置就好。
ifb4eth3不吃资源，去掉了

237176253

最近宽带提了下速，测了下MTK 4.4内核的SDK，对比看来4.4内核下HWNAT的UDP处理比老毛子表现要好。
这是有线跑迅雷，1W6连接数+250M的带宽

5G跑迅雷，同样跑满1W6连接数+250M的带宽

xykz

237176253 发表于 2020-8-2 14:04
最近宽带提了下速，测了下MTK 4.4内核的SDK，对比看来4.4内核下HWNAT的UDP处理比老毛子表现要好。
这是有 ...

这个CPU占用着实低了，感觉无线那一块都有硬件加速？

我那个老毛子版本太低了，没有HWNAT，而且我比较注重QOS，有也没法开

237176253

xykz 发表于 2020-8-6 17:46
这个CPU占用着实低了，感觉无线那一块都有硬件加速？

我那个老毛子版本太低了，没有HWNAT，而且我比较 ...

无线有HWNAT。不过老毛子的HWNAT部分我感觉UDP有问题，P2P下载 cpu占用比SDK的差很多。

xykz

237176253 发表于 2020-8-6 18:16
无线有HWNAT。不过老毛子的HWNAT部分我感觉UDP有问题，P2P下载 cpu占用比SDK的差很多。

我还没用过带HWNAT的老毛子，不知道带HWNAT的能不能拉住2W的连接数