【性能调优】高效利用多核CPU的优势——多平台优化支持贴

presisco

在中断均衡脚本的帖子中，我基于OpenWrt与IPQ4019编写了优化脚本，发现有一定的性能提升。由于我只有RT-ACRH17，因此无法提供更多系统和SOC的脚本。如果想对自己的多核路由器进行优化的话，可进行以下步骤，并将输出结果回复到帖子里，我会尽可能更新到github目录中。

• 使用ssh/telnet登录路由器
• 输入
  1. cat /proc/interrupts

  复制代码
  
  

• 复制输出结果并回复系统版本、SOC版本与输出结果

  中断表

  

  
  

bb1993916

R3G MT7621   lean仓库最新

presisco

bb1993916 发表于 2020-3-9 10:41
R3G MT7621   lean仓库最新

已更新至github仓库

bb1993916

K3 Bcm4709   Lean仓库最新

presisco

bb1993916 发表于 2020-3-9 12:24
K3 Bcm4709   Lean仓库最新

已更新至GitHub仓库中的BCM53xx目录

lr2000

感谢分享。。。。。

ByByMe

原来也有人关注这个了。先说下自己之前的测试结果。7615+7621（双核四线程），在padavan下，不开启hwnat，无线跑lan to 5g 600多M，wan to 5g 400多M（padavan eth3 wan，eth2 lan，ra0无线），经过测试wan to 5g最快的策略是

echo 3 >/sys/class/net/eth3/queues/rx-0/rps_cpus
echo 8 > /proc/irq/11/smp_affinity
echo 8 > /proc/irq/32/smp_affinity
cat /proc/interrupts/里并没有eth3，不太清楚原因。反正要让eth3跑在一个核心的两个线程上，无线和eth2跑在另一个核心上，eth3的线程不能跑在eth2或者ra0在的核心上，否则速度大幅降低。
这个图只是参考下中断号，后面有了hwnat不用调速度也起得来就没弄了

presisco

ByByMe 发表于 2020-3-9 17:41
原来也有人关注这个了。先说下自己之前的测试结果。7615+7621（双核四线程），在padavan下，不开启hwnat， ...

1004kc的性能和Cortex A7差的比较远，我没实测过7621，没想到单核心居然会撑不下lan+wan+radio，我还是改下策略吧。
因为5g to Wan这种在CPU够用的情况下分配到一个核心执行可以避免跨CPU的缓存同步问题。

ByByMe

presisco 发表于 2020-3-9 18:02
1004kc的性能和Cortex A7差的比较远，我没实测过7621，没想到单核心居然会撑不下lan+wan+radio，我还是改 ...

不知道为什么跑无线的时候eth3 很吃cpu，echo 1 >/sys/class/net/eth3/queues/rx-0/rps_cpus 速度都不行，还得改成3，两个线程跑wan。有线的时候单线程跑eth3压力并不高。

ByByMe

楼主需要的话我可以提供下参数，之前没找到7621 op咋调wan所在的cpu，padavan那种方法调了后测速时 cpu的负载还是乱七八糟的。。。

presisco

ByByMe 发表于 2020-3-9 18:23
楼主需要的话我可以提供下参数，之前没找到7621 op咋调wan所在的cpu，padavan那种方法调了后测速时 cpu的负 ...

应该要同时调net queues和eth中断吧？你有参数的话更好

IPQ4019直接把队列对应到中断上了，省了不少事

237176253

7621 5.4换了dsa，每个接口都可以设置rps。经过测试，最快的策略是eth0的rps和有线中断必须在同一个虚拟核心上，无线扔给这个物理核心剩下的另一个虚拟核心。wan和lan丢给另外一个cpu上随便分配。实测nat性能有线900+ 无线800+

237176253

虽然eth0的rps和有线中断都在同一个虚拟核心时跑900+时，那个核心已经满载。但把eth0的rps放在其他核心上性能反而下降，不知道是什么原理，核间通信的损耗太大?

sc0000000

           CPU0       CPU1       CPU2       CPU3
  0:          1          0          0          0   IO-APIC   2-edge      timer
  1:        102          0          0          0   IO-APIC   1-edge      i8042
  8:          1          0          0          0   IO-APIC   8-edge      rtc0
  9:          0          0          0          0   IO-APIC   9-fasteoi   acpi
12:          6          0          0          0   IO-APIC  12-edge      i8042
14:          0          0          0          0   IO-APIC  14-edge      ata_piix
15:          0          0          0          0   IO-APIC  15-edge      ata_piix
16:     845923          0          0          0   IO-APIC  16-fasteoi   eth2
17:   62219650          0          0          0   IO-APIC  17-fasteoi   ioc0, eth3
18:  531340134          0          0          0   IO-APIC  18-fasteoi   eth0, eth4
19:  563192711          0          0          0   IO-APIC  19-fasteoi   eth1
24:          0          0          0          0   PCI-MSI 129024-edge      vmw_vmci
25:          0          0          0          0   PCI-MSI 129025-edge      vmw_vmci
NMI:          0          0          0          0   Non-maskable interrupts
LOC:   92472245   94030239   92275220   92777380   Local timer interrupts
SPU:          0          0          0          0   Spurious interrupts
PMI:          0          0          0          0   Performance monitoring interrupts
IWI:          0          0          0          0   IRQ work interrupts
RTR:          0          0          0          0   APIC ICR read retries
RES:   12241993   14639320   14664719   15097251   Rescheduling interrupts
CAL:       8554  163374832  187141612  157832517   Function call interrupts
TLB:       3479       3434       4363       3981   TLB shootdowns
TRM:          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0   Threshold APIC interrupts
DFR:          0          0          0          0   Deferred Error APIC interrupts
MCE:          0          0          0          0   Machine check exceptions
MCP:       2687       2687       2687       2687   Machine check polls
HYP:          0          0          0          0   Hypervisor callback interrupts
ERR:          0
MIS:          0
PIN:          0          0          0          0   Posted-interrupt notification event
NPI:          0          0          0          0   Nested posted-interrupt event
PIW:          0          0          0          0   Posted-interrupt wakeup event







intel 9500T
16G
软路由分配4核心

presisco

sc0000000 发表于 2020-7-4 09:50
CPU0       CPU1       CPU2       CPU3
  0:          1          0          0          0   ...

直接装irqbalance吧，自动均衡应该就够用了