mwan3 + wireguard 我折腾半天，还要跪求帮助

myb***

一个openwrt有2个Wan口，用mwan3做负载均衡， 并且其中wanb还要承载wireguard
我的问题：  两端彼此ping不通LAN口， 而且在Remote side的Endpoint: 9.9.9.7,  但用wg show查看，显示是8.8.8.7

my side端:
      WAN (eth1):  static 8.8.8.7  gateway:8.8.8.1
      WAN_b(eth2): static 9.9.9.7  gateway:9.9.9.1

Remote side端:
      WAN(eth0): static 7.7.7.8  gateway:7.7.7.1




My side这边，可以看到ping不通对端LAN口, 但可以ping通对端的WAN口

1. 
   
2. 
   
3. root@OpenWrt:/# wg
   
4. interface: wg0
   
5.   public key: sJou1WwZNsX7jHfV2CNkCer7uHwxs0yMXFBTwX8DznI=
   
6.   private key: (hidden)
   
7.   listening port: 51820
   
8. 
   
9. peer: wUi4iTCulzasw3s7mrWoXF4MuOzf6PColPoBxS3a9As=
   
10.   endpoint: 7.7.7.8:51820
    
11.   allowed ips: 192.168.100.0/24, 192.168.8.0/24
    
12.   latest handshake: 34 seconds ago
    
13.   transfer: 368 B received, 2.50 KiB sent
    
14.   persistent keepalive: every 25 seconds
    
15. 
    
16. 
    
17. root@OpenWrt:/# ping 192.168.8.1
    
18. PING 192.168.8.1 (192.168.8.1): 56 data bytes
    
19. ^C
    
20. root@OpenWrt:~# ping -I 192.168.1.1 192.168.8.1
    
21. PING 192.168.8.1 (192.168.8.1) from 192.168.1.1: 56 data bytes
    
22. ^C
    
23. 
    
24. root@OpenWrt:/# ping 7.7.7.8
    
25. PING 7.7.7.8 (7.7.7.8): 56 data bytes
    
26. 64 bytes from 7.7.7.8: seq=0 ttl=63 time=1.034 ms
    
27. 64 bytes from 7.7.7.8: seq=1 ttl=63 time=0.980 ms
    

复制代码

1. 
   
2. 
   
3. root@OpenWrt:/# route -n
   
4. Kernel IP routing table
   
5. Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
   
6. 0.0.0.0         8.8.8.1         0.0.0.0         UG    10     0        0 eth1
   
7. 0.0.0.0         9.9.9.1         0.0.0.0         UG    20     0        0 eth2
   
8. 7.7.7.8         8.8.8.1         255.255.255.255 UGH   10     0        0 eth1
   
9. 8.8.8.0         0.0.0.0         255.255.255.0   U     10     0        0 eth1
   
10. 9.9.9.0         0.0.0.0         255.255.255.0   U     20     0        0 eth2
    
11. 192.168.1.0     0.0.0.0         255.255.255.0   U     0      0        0 br-lan
    
12. 
    
13. 
    
14. 
    
15. root@OpenWrt:/# cat /etc/config/network
    
16. config interface 'loopback'
    
17.         option device 'lo'
    
18.         option proto 'static'
    
19.         option ipaddr '127.0.0.1'
    
20.         option netmask '255.0.0.0'
    
21. 
    
22. config globals 'globals'
    
23.         option ula_prefix 'fd7a:61b6:b586::/48'
    
24. 
    
25. config device
    
26.         option name 'br-lan'
    
27.         option type 'bridge'
    
28.         list ports 'eth0'
    
29.         list ports 'eth5'
    
30. 
    
31. config interface 'lan'
    
32.         option device 'br-lan'
    
33.         option proto 'static'
    
34.         option ipaddr '192.168.1.1'
    
35.         option netmask '255.255.255.0'
    
36.         option ip6assign '60'
    
37. 
    
38. config interface 'wan'
    
39.         option device 'eth1'
    
40.         option proto 'static'
    
41.         option netmask '255.255.255.0'
    
42.         option metric '10'
    
43.         option gateway '8.8.8.1'
    
44.         option ipaddr '8.8.8.7'
    
45. 
    
46. config interface 'wanb'
    
47.         option proto 'static'
    
48.         option device 'eth2'
    
49.         option netmask '255.255.255.0'
    
50.         option metric '20'
    
51.         option gateway '9.9.9.1'
    
52.         option ipaddr '9.9.9.7'
    
53. 
    
54. config interface 'wg0'
    
55.         option proto 'wireguard'
    
56.         option private_key 'EDvWgQu5GNIGKDgaPv6kVHCvEl0Y8TJk1KC3OFubzEA='
    
57.         option listen_port '51820'
    
58.         list addresses '192.168.100.3'
    
59. 
    
60. config wireguard_wg0
    
61.         option public_key 'wUi4iTCulzasw3s7mrWoXF4MuOzf6PColPoBxS3a9As='
    
62.         list allowed_ips '192.168.100.2/24'
    
63.         list allowed_ips '192.168.8.1/24'
    
64.         option endpoint_host '7.7.7.8'
    
65.         option persistent_keepalive '25'
    
66.         option route_allowed_ips '1'

复制代码

Remote side这边也ping不通对端LAN口,  但可以ping通对端的WAN口

1. 
   
2. root@GL-MV1000:~# wg
   
3. interface: wg0
   
4.   public key: wUi4iTCulzasw3s7mrWoXF4MuOzf6PColPoBxS3a9As=
   
5.   private key: (hidden)
   
6.   listening port: 51820
   
7. 
   
8. peer: sJou1WwZNsX7jHfV2CNkCer7uHwxs0yMXFBTwX8DznI=
   
9.   endpoint: 8.8.8.7:51820           <----如下截图，我明明配置的是9.9.9.7， 但wg显示8.8.8.7                                 
   
10.   allowed ips: 192.168.100.0/24, 192.168.1.0/24
    
11.   latest handshake: 49 seconds ago
    
12.   transfer: 6.18 KiB received, 1.71 KiB sent
    
13. 
    
14. 
    
15. root@GL-MV1000:~# ping 192.168.1.1
    
16. PING 192.168.1.1 (192.168.1.1): 56 data bytes
    
17. ^C
    
18. 
    
19. root@GL-MV1000:~# ping -I 192.168.8.1 192.168.1.1
    
20. PING 192.168.1.1 (192.168.1.1) from 192.168.8.1: 56 data bytes
    
21. ^C
    
22. 
    
23. 
    
24. root@GL-MV1000:~# ping 8.8.8.7
    
25. PING 8.8.8.7 (8.8.8.7): 56 data bytes
    
26. 64 bytes from 8.8.8.7: seq=0 ttl=63 time=0.745 ms
    
27. 64 bytes from 8.8.8.7: seq=1 ttl=63 time=0.902 ms
    
28. ^C
    

复制代码

1. 
   
2. root@GL-MV1000:~# cat /etc/config/network
   
3. config interface 'loopback'
   
4.         option ifname 'lo'
   
5.         option proto 'static'
   
6.         option ipaddr '127.0.0.1'
   
7.         option netmask '255.0.0.0'
   
8. 
   
9. config globals 'globals'
   
10.         option ula_prefix 'fdd3:1356:9fcc::/48'
    
11. 
    
12. config interface 'lan'
    
13.         option type 'bridge'
    
14.         option ifname 'lan0 lan1 usb0'
    
15.         option proto 'static'
    
16.         option netmask '255.255.255.0'
    
17.         option ip6assign '60'
    
18.         option hostname 'GL-MV1000-298'
    
19.         option ipaddr '192.168.8.1'
    
20. 
    
21. config interface 'wan'
    
22.         option ifname 'wan'
    
23.         option ipv6 '0'
    
24.         option proto 'static'
    
25.         option netmask '255.255.255.0'
    
26.         option ipaddr '7.7.7.8'
    
27.         option gateway '7.7.7.1'
    
28.         option metric '10'
    
29. 
    
30. config interface 'lan0'
    
31.         option ifname 'lan0'
    
32.         option macaddr '94:83:c4:0a:42:99'
    
33. 
    
34. config interface 'lan1'
    
35.         option ifname 'lan1'
    
36.         option macaddr '94:83:c4:0a:42:99'
    
37. 
    
38. config interface 'wg0'
    
39.         option proto 'wireguard'
    
40.         option private_key '6G+8SN2C4v0yWd2O4C5jCa5LPK8D7S3PuVrMQK3VbWg='
    
41.         option listen_port '51820'
    
42.         list addresses '192.168.100.2'
    
43. 
    
44. config wireguard_wg0
    
45.         option public_key 'sJou1WwZNsX7jHfV2CNkCer7uHwxs0yMXFBTwX8DznI='
    
46.         list allowed_ips '192.168.100.1/24'
    
47.         list allowed_ips '192.168.1.0/24'
    
48.         option endpoint_host '9.9.9.7'
    
49. 
    

复制代码

wack***

这特么，openwrt论坛上的帖子是你发的啊，这鸟问题是wireguard的锅。。。。
参考我的issue：https://github.com/openwrt/packages/issues/9538

myb***

wackejohn 发表于 2023-3-23 13:11
这特么，openwrt论坛上的帖子是你发的啊，这鸟问题是wireguard的锅。。。。
参考我的issue：https://githu ...

英俊的少帅，小弟是初学。  要是能成功， 我愿舔你脚丫子。
你的issue， 似乎好像说只要把mwan3的rule， 改成tcp就可， 但我还是不行。

下面是My side 这边的截图

wack***

mybox65 发表于 2023-3-23 14:06
英俊的少帅，小弟是初学。  要是能成功， 我愿舔你脚丫子。
你的issue， 似乎好像说只要把mwan3的rule， ...

你没看完吧，拉到最后。。。需要给wireguard打补丁的。。。

win***

wackejohn 发表于 2023-3-23 14:48
你没看完吧，拉到最后。。。需要给wireguard打补丁的。。。

1. listening on pppoe-vwan0, link-type LINUX_SLL (Linux cooked v1), snapshot length 262144 bytes 16:04:15.159322 IP 223.147.25.61.9962 > 175.8.41.67.8023: UDP, length 148 16:04:20.235932 IP 223.147.25.61.9977 > 175.8.41.67.8023: UDP, length 148 16:04:20.236483 IP 175.8.41.67.8048 > 223.147.25.61.9977: UDP, length 92 16:04:25.655931 IP 223.147.25.61.9978 > 175.8.41.67.8023: UDP, length 148 16:04:25.656437 IP 175.8.41.67.8048 > 223.147.25.61.9978: UDP, length 92 16:04:27.474104 IP 223.147.25.61.9979 > 175.8.41.67.8023: UDP, length 148 16:04:30.433133 IP 223.147.25.61.9980 > 175.8.41.67.8023: UDP, length 148 16:04:32.133377 IP 223.147.25.61.9981 > 175.8.41.67.8023: UDP, length 148 16:04:32.133984 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 92 16:04:57.192345 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148 16:05:02.962336 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148 16:05:08.712360 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148 16:05:14.472384 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148 16:05:20.242379 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148 16:05:25.352238 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148 16:05:31.112246 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148 16:05:36.882333 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148 16:05:42.632254 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148 16:05:48.392299 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148 16:05:53.512236 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148 16:05:59.272367 IP 175.8.41.67.8048 > 223.147.25.61.9981: UDP, length 148

复制代码

https://github.com/openwrt/packages/issues/9538
老哥很高心能在恩山看到你，我在github看到你的关于给wireguard打补丁，固件OpenWrt 23.05.0-rc1，内核5.15.114，平台x86/64，两个wan口 wan跃点20和vwan0跃点21，mwan3做好了负载均衡。我用你2022年6月9日最新的补丁打上编译后，通过客户端向openwrt vwan0口发起请求，请求到达vwan0从vwan0返回了，openwrt wireguard端口是8023,但是返回的确实其他随机端口，重新连接端口又会变很奇怪。不知道是不是我的补丁打的有问题，第一次给软件打补丁。大哥能帮我看下吗github上有我更详细的情况说明，不胜感激。附上tcpdump数据

ai***

想问一下您的openwrt是直接安装在机器上还是基于linux的系统后虚拟机再安装的？