Lagere snelheid tussen verschillende vlan's

[BGO]

Ben helemaal geen netwerkspecialist, dus misschien is het perfect normaal wat ik hier zie ...

Achter mijn UDM-SE hangt een USW Aggregation switch. Hieraan hangen enkele servers via SFP+ en in Unifi Netwerk zie ik die ook als 10 GbE staan, dus tot zover alles ok.

Als ik mbv iperf3 testen doe tussen de systemen, dan lijken de resultaten mij ok met een bitrate van 9.42 Gbits/sec. Een copy maken tussen twee systemen geeft een snelheid van 239.56MB/s, dat bevestigd het resultaat van de iperf3 test.
Dit werkt echter alleen als beide systemen in hetzelfde vlan zitten. Van zodra ze in een ander vlan zitten valt de werkelijke snelheid terug naar GbE (in Unifi zie ik het systeem nog steeds als 10 GbE).

Op een van de servers staat PVE, eerst had ik daar op alles maar GbE, maar dan heb ik de server aan hetzelfde vlan toegevoegd en toen kreeg ik 10 GbE resultaten. VM's op de PVE die echter in een ander vlan zitten, blijven slecht GbE resultaten geven (maar ook deze systemen zie ik in Unifi als 10 GbE gekoppeld).

Is dit te verwachten gedrag?

 

[Hofstede]

Al je inter VLAN verkeer loopt via de UDM-SE die intern niet op 10G werkt. Je hebt geen layer 3 switch die zelf tussen de VLAN's kan routeren. En op het verkeer tussen de VLANs is daardoor ook bijvoorbeeld DPI / Intrusion protection scanning van toepassing. Dat laatste kun je wel uitschakelen.

 

[BGO]

Al je inter VLAN verkeer loopt via de UDM-SE die intern niet op 10G werkt. Je hebt geen layer 3 switch die zelf tussen de VLAN's kan routeren. En op het verkeer tussen de VLANs is daardoor ook bijvoorbeeld DPI / Intrusion protection scanning van toepassing. Dat laatste kun je wel uitschakelen.

Dus perfect te verwachten resultaat?
Oplossing ofwel een 10G layer 3 switch gebruiken (nogal prijzig voor thuis wat aan te modderen) of wat spelen met vlan's en/of een connectie extra leggen.

Bedankt voor je antwoord @Hofstede ben weeral wat wijzer geworden

 

[Eddie the Eagle]

Dus perfect te verwachten resultaat?

Hangt een beetje van de echte waardes af die je meet, je spreekt over GbE maar wat precies (?); in jouw geval met alles aangesloten op 10Gbps zou de throughput inter VLAN met IPS/IDS theoretisch 3,5Gbps moeten zijn en zonder IPS/IDS 10Gbps....theoretisch.

 

[Davey400]

Oplossing ofwel een 10G layer 3 switch gebruiken (nogal prijzig voor thuis wat aan te modderen)

Zou de Pro Max 16 dat niet al moeten kunnen?

 

[Eddie the Eagle]

Zou de Pro Max 16 dat niet al moeten kunnen?

Nee, alleen als de poorten ook 10Gbps zijn.

De Enterprise XG & Campus (nog niet eens te koop) switches kunnen het, die zijn L3 en kunnen tussen poorten op die snelheid switchen, dus ook tussen VLAN`s. Dat zijn zo`n beetje de duurste switches van UI. Ik denk dat topic starter die bedoeld.

 

[Davey400]

Maar je zou toch de aggregation via SFP+ aan de Pro Max 16 kunnen hangen en instellen dat deze zorgt voor het routeren?

Op mijn UDM SE gebruik ik maar 2 poorten; 1 voor de WAN verbinding, en 1 voor de verbinding met mijn hoofdswitch, die ook alle (interne) routering voor zijn rekening neemt.
Als verkeer niet het internet op hoeft komt het niet eens aan bij de UDM.

 

[Eddie the Eagle]

Maar je zou toch de aggregation via SFP+ aan de Pro Max 16 kunnen hangen en instellen dat deze zorgt voor het routeren?

Zeker kan dat, alleen zoals ik het lees wil @BGO tussen 2 clients in verschillende VLAN`s een 10Gbps snelheid behalen. Dat lukt niet met zijn huidige Switch Aggregation omdat die Layer 2 is, dus het verkeer langs de UDM moet met de 'beperking' van 3,5Gbps throughput als je threat management wilt gebruiken. De Pro Max 16 verandert daar niks aan.

 

[BGO]

Hangt een beetje van de echte waardes af die je meet, je spreekt over GbE maar wat precies (?); in jouw geval met alles aangesloten op 10Gbps zou de throughput inter VLAN met IPS/IDS theoretisch 3,5Gbps moeten zijn en zonder IPS/IDS 10Gbps....theoretisch.

Bekijk bijlage 10660

De waardes die ik meet met iperf3 zijn 9.38 Gbits/sec (de 10 GbE) en 1.14 Gbits/sec (wat ik de GbE noem). De laatste lijkt me dan net iets meer dan een gewone gigabit connectie, als ik die test kom ik maar aan 0.94 Gbits/sec. Heeft dit kleine verschil misschien iets te maken met het feit dat het hier fysiek over een 10 GbE netwerk gaat (de uplink tussen de Switch Aggregation en de UDM-SE is ook 10 GbE) en hier echt wel de max uit een GbE wordt gehaald? Het is in elk geval geen 3.5 Gbps.

 

[Davey400]

Dat is wel opmerkelijk. Het is bekend dat de verbinding tussen CPU en de ingebouwde 8-poorts switch slechts 1 Gbps is.
Maar voor de als WAN bedoelde 2,5 poort 9 en de SFP+ poorten zou die beperking niet van toepassing moeten zijn.

Al je link speeds op de SFP+ poorten van de UDM-SE zijn wel gewoon netjes 10Gbps?

Maar inderdaad; als je intern ook langs IDS/IPS wilt zul je wel door de UDM heen moeten; een L3 switch als router inzetten is alleen nuttig als je het intern OK vindt om dat niet te doen.

 

[BGO]

Dat is wel opmerkelijk. Het is bekend dat de verbinding tussen CPU en de ingebouwde 8-poorts switch slechts 1 Gbps is.
Maar voor de als WAN bedoelde 2,5 poort 9 en de SFP+ poorten zou die beperking niet van toepassing moeten zijn.

Al je link speeds op de SFP+ poorten van de UDM-SE zijn wel gewoon netjes 10Gbps?

Ja hoor, er zijn maar twee poorten actief op de UDM-SE, de WAN poort en de SFP+ naar de USW aggregation ...

Maar inderdaad; als je intern ook langs IDS/IPS wilt zul je wel door de UDM heen moeten; een L3 switch als router inzetten is alleen nuttig als je het intern OK vindt om dat niet te doen.

 

[Davey400]

@BGO wat nog even niet duidelijk is, is of de IDS/IPS op verkeer tussen interne VLANs in jouw situatie gewenst is?
Zo niet; heb je al gekeken of dat een onderdeel van jouw performance-probleem is?

 

[Stiibun]

Er zijn legio onderwerpen op het Unifi forum waarbij men zelfs met IDS/IPS niet boven de 1Gbe komt. Zou het zelf even willen testen, aan popelen om dat te doen, maar zal nog even duren vooraleer hier alles terug aangesloten is.

 

[Eddie the Eagle]

Het is in elk geval geen 3.5 Gbps.

Mm, toch vreemd, volgens mij zou het dat wel moeten zijn in jouw specifieke geval. Ik zou threat mgt eens uitzetten en nog eens testen, ben zeer benieuwd. Als er dan weer 1Gbps uit komt, dan is er andere bottleneck maar die zie ik even niet.

 

[BGO]

Mm, toch vreemd, volgens mij zou het dat wel moeten zijn in jouw specifieke geval. Ik zou threat mgt eens uitzetten en nog eens testen, ben zeer benieuwd. Als er dan weer 1Gbps uit komt, dan is er andere bottleneck maar die zie ik even niet.

Ben nog wat aan het testen gegaan met iperf3 ...
Een gewone GbE verbinding: 0.94 Gbits/sec

Dan nog wat testen tussen systemen die allemaal aan de USW Aggretion hangen, dus fysieke 10 GbE connectie.
- binnen het zelfde vlan: 9.38 Gbits/sec
- verschillend vlan: 1.14 Gbits/sec
- verschillend vlan, intrusion detection gedeeltelijk off: 1.72 Gbits/sec
- verschillend vlan, intrusion detection volledig off: 2.34 Gbits/sec
- verschillend vlan, intrusion detection volledig off, VPN off: 2.63 Gbits/sec
- verschillend vlan, intrusion detection volledig off, VPN off, app blocking off: 3.62 Gbits/sec

De trend is duidelijk denk ik, hoe minder security, hoe hoger de snelheid tussen verschillende vlan's

 

[Hofstede]

Is ook logisch. Want de CPU van de UDM SE moet al dat verkeer afhandelen.

 

[Eddie the Eagle]

De trend is duidelijk denk ik, hoe minder security, hoe hoger de snelheid tussen verschillende vlan's

Ja dat was te verwachten maar UI claimed 3,5Gbps met threat management aan en jij haalt maar 1,1Gbps. Ergens is er dus 2,4Gbps weggevallen maar in die periode had UI bijvoorbeeld nog geen ad blocker en die geeft ook een flinke load zie ik. Wireguard en OpenVPN waren er ook niet maar daar zie ik niet echt wat het verschil tussen Intra-VLAN en Inter-VLAN verkeer zou zijn. Desalniettemin had ik verwacht dat je laatste test met alles uit (3,6 Gbps) hoger uit zou vallen en in de buurt zou komen van de snelheid binnen hetzelfde VLAN (9 Gbps). Ergens is dus nog steeds processing overhead bij verkeer tussen VLAN anders dan de processen die je benoemd. Interessant...misschien iets met de de firewall ? Ik weet het niet.

 

[Hofstede]

Je vergeet dat het verkeer van de VLANs de UDM SE in gaat via 1 VLAN, maar ook weer uit naar een ander VLAN. Als Intrusion Prevention voor beide aan staat wordt het dus dubbel gescand,

 

[Eddie the Eagle]

Je vergeet dat het verkeer van de VLANs de UDM SE in gaat via 1 VLAN, maar ook weer uit naar een ander VLAN. Als Intrusion Prevention voor beide aan staat wordt het dus dubbel gescand,

Aahh, dat is inderdaad een verschil met het WAN verkeer en die 3,5Gbps gaat 100% zeker daarover.

 

[mdzwarts]

Ik heb hier in het verleden ook contact gehad met Ubiquity voor de EFG. De -P parameter moet je eens proberen en de tests opnieuw runnen. Hiermee gaat bij mij wel netjes de snelheid inter-vlan terug naar de maximum van afgerond 10Gbit.