ESX 7 + PFSense + ExtraIP + Tweak = niet volledige snelheid

Apparatuur
1

Ik gebruik hier PFSense 2.4.5 op een ESX 7 machine. Gekozen NIC’s zijn allemaal VMX NET 3. (E1000 ook geprobeerd)
Op zich werkt het allemaal, ik haal alleen niet mijn volledige snelheid, nu snap ik uiteraard dat er wat verlies zal zijn door de ExtraIP tunnel.

Maar ik kom maar tot 500Mbps/800Mbps dl/ul (ongeveer). en vooral het verschil vind ik zo vreemd.

Ik vermoed dat er iets aan de MTU/MSS moet gebeuren, maar daar heb ik ook al verschillende waardes getest. Alhoewel dat in mijn andere topic niet echt naar voren kwam. Het kan dus uiteraard heel goed ook ergens anders zitten.

Of zit hem in deze opties wellicht?

Hardware Checksum Offloading
Hardware TCP Segmentation Offloading
Hardware Large Receive Offloading

Ook zonder de ExtraIP tunnel zit er een behoorlijk verschil tussen down en up.

Heeft iemand enig idee hoe dit te verbeteren? Toevallig meer mensen met deze combinatie?

P.S. ik heb een aantal verschillende topics lopen, dat is met opzet om te zorgen dat de topics een beetje clean blijven.

2

De summiere informatie die je in dit topic geeft, en de extra andere topics die je maakt, maken het er (met alle respect) niet overzichtelijker op.

Je probeert een behoorlijk complexe opstelling te bouwen, met erg veel variabelen die allemaal invloed hebben op de te behalen snelheid.

Je hebt:
Hardware (vermeld je niet) -> Hypervisor met veelheid aan snelheid beinvloedende instellingen -> Virtuele hardware -> PFSense -> Tunnel, etc.

Oh ja, en dan heb je natuurlijk ook nog je thuisnetwerk en de ‘client’ waarmee je vervolgens je speedtest uitvoert (en doe je dat over UTP, of over Wifi?).

Het zou maar zo kunnen dat de hardware waar je nu ESX met daaronder weer PFSense draait, uberhaupt al niet snel genoeg is om 1 Gbps vlot te routeren en te NAT’en. Ik zou je dus sowieso al aanraden om ook PFSense gewoon eens ‘bare metal’ te draaien. En dan even geen VPN tunnel, maar gewoon een zo ‘zuiver mogelijke’ speedtest (en je dan ook vergewissen dat de client waarop je de speedtest uitvoert en de speedtest mirror ook de snelheden aan kunnen die je wenst te behalen).

En dan kan je daarna eens ‘laagjes’ gaan toevoegen.

Ter referentie:
Ik heb hier een Shuttle DH310 met 2 Intel NICs draaien, met Core i3 cpu erin, Proxmox VE (KVM virtualisatie) en dan OPNSense als KVM VM. Richting LAN wordt een virtuele netwerkbridge met virtual NIC (virt-io) gebruikt, voor de WAN kant beschikt OPNSense direct over de NIC hardware via PCI passthrough.

Verder alles bedraad met Ubiquiti netwerkswitches.

Client PC een Core i5 systeempje met daarop Ubuntu Linux, Intel NIC.

En op speedtest.net mirrors als die van Redhosting in Almere, of Solcon in Dronten, kan ik de volle 1000/1000 halen van Tweak. (nou ja, ongveer 970/970).

Verder niks ge-tweaked aan MTU sizes. Alles gewoon op 1500.

Gevirtualiseerd hoge routeringssnelheden halen kan dus heel best, maar jij zorgt in 1 klap voor zo veel mogelijke plaatsen met bottlenecks, dat het met de huidige informatie lastig troubleshooten is.

3

Excuus voor de verwarring, dat is natuurlijk niet mijn bedoeling.

Ik gebruik ook Ubiquiti switches. Wanneer ik op het punt waar glas binnen komt een pc verbindt dan haal ik met iperf 112MB/s naar de plek van waar ik de testen doe. Dus interne netwerk gaat volle bak.

ESX draait op een Supermicro X9SRL-F met 192GB en een 2690 v2. Alles staat op ssd’s, zowel esx zelf als de VM’s. Zitten Intel NICs op dit bordje.

PFSense bare metal testen ga ik inderdaad nog doen.

Client pc is een Ryzen 3900x met 64GB op een optane schijf. Dit bordje heeft ook een Intel NIC.

@eversteegt, hoeveel MB/s haal jij als je dit bestand download?

http://speed.transip.nl/1gb.bin

4

Op de 1 GB file bij transip.nl vandaan haal ik op mijn werklaptop (Core i5 van een paar jaar terug) én op m’n Synology 916+ NAS hooguit 20 MB/s.

Haal ik een soortgelijke file op van een eigen servern van Tweak ( http://speedtest.tweak.nl/1000mb.bin ), dan trekt ie de volle 1 GB dicht :wink:

Zo zie je ook hier alweer wat een verschil je methode van testen kan maken.

Wel goed dat je in ieder geval een iperf test hebt gedaan, dan heb je je eigen netwerk in ieder geval uitgesloten. En je door een PC direct aan de NT aan te sluiten weet je in ieder geval dat die het ook aan kan.

Hoewel ook een test met iperf, of een single file (en single TCP session) WGET ook alweer onderhevig is aan heel andere ‘krachten’, dan de HTML5-‘applicatie’ die speedtest.net gebruikt.

Hoe dan ook: Ben benieuwd naar je resultaat met een bare metal PFSense of OPNSense. Haalt die de volle bak wel, dan heb je je potentiele ‘probleemgebied’ alweer wat verkleind.

Maar hoe dan ook: Met het voorbeeld van hierboven dat zelfs zoiets ‘simpels’ als een file niet ophalen vanuit het Tweak netwerk, maar van over de AMS-IX (terwijl TransIP redelijk ‘dichtbij’ zit) al zo’n verschil kan maken:

Over een VPN-tunnel hoef je al helemaal geen wonderen te verwachten :wink:

5

Klopt helemaal :slight_smile: even voor de zekerheid je weet dat ik geen VPN maar een GRE tunnel gebruik toch? :stuck_out_tongue:

Die 1GB van TransIP gaat bij mij met 45-50MB/s. Ik zal die tweak file ook eens testen.