Ik moet een virtuele machine disk uploaden richting een Hetzner server. Nu geeft mij dit de nodige problemen. Ik upload namelijk maar met een snelheid van ongeveer 1MB/s. Nou gaat dit voor 200 GB nogal lang duren. Mijn vraag is waarom zou dit zo langzaam kunnen zijn?
Ik gebruik hier thuis een Unifi USG 3P die super stabiel werkt en richting verschillende speedtest servers gewoon 850/940 Mbit geeft.
Een download van dezelfde server af geeft me een snelheid van 10 MB/s. Ook veel minder dan het zou moeten zijn.
Vanaf het kantoor (ook gigabit internet) geeft dit toch een veel betere snelheid van tussen de 50MB/s en 90MB/s.
Als toevoeging hierop. Een download van github gaat meestal ook heel erg traag (1 tot 0.5 mbit). Het lijkt erop dat sommige services totaal geen snelheid krijgen naar/van mijn netwerk.
Als ik vanaf thuis een upload doe, dd bs=100k if=/dev/urandom | ssh violet dd of=bla, haal ik meteen 31+MB/s. Dus het zou moeten kunnen. Punt twee is dat Hetzner een prima colo is en die heeft bandbreedte zat. Wat ik wel heb gezien bij andere colo’s is dat er soms config problemen zijn waardoor je LAN aan die kant gespamt wordt met broadcasts. En dat verzadigt dan weer de virtuele NICs. Ik denk dat er ergens een probleem is. Zou je eens wat meer kunnen beschrijven wat je doet en met welke software?
Ik heb zojuist jouw command uitgeprobeerd en krijg dezelfde resultaten die ik met mijn 200gb bestand ook kreeg:
749+0 records in
748+0 records out
76595200 bytes (77 MB, 73 MiB) copied, 62.3752 s, 1.2 MB/s
Het rare is dus dat vanuit mijn huis richting de server (en af en aan verschillende andere services zoals github) totaal geen snelle verbinding is. Maar richting andere services (steam, speedtest, enz. enz.) weer wel.
Ik heb het bestand op meerdere manieren geprobeerd te uploaden:
met filezilla (sftp en ftp geprobeerd)
met rsync
Ook wanneer ik op de server iets download uit mijn netwerk krijg ik minder dan 1MB/s
De oplossing die ik gisteren heb gebruikt om het bestand over te zetten was om het eerst te uploaden naar de NAS van een collega (Dit gaf mij de snelheid die ik zou verwachten +/- 60MB/s) en hij heeft de file weer geupload naar de Hetzner server.
ik weet niet of het relevante informatie is maar hieronder heb ik een traceroute resultaat staan vanaf mijn LAN naar de hetzner server (met wat ip’s weggelaten natuurlijk)
traceroute to [IP SERVER] ([IP SERVER]), 30 hops max, 60 byte packets
1 _gateway (10.0.0.1) 0.437 ms 0.508 ms 0.655 ms
2 asd-itxams9-rtr1-ve205.cambrium.net (217.19.16.21) 5.041 ms 5.339 ms 5.692 ms
3 asd-nikh-rtr1-ae0-171.cambrium.net (217.19.16.6) 6.243 ms 6.618 ms 6.516 ms
4 speed-ix.hetzner.com (185.1.95.73) 9.234 ms 9.125 ms 9.255 ms
5 core1.fra.hetzner.com (213.239.203.157) 13.295 ms core4.fra.hetzner.com (213.239.252.45) 20.038 ms 20.006 ms
6 * core23.fsn1.hetzner.com (213.239.203.154) 30.388 ms core24.fsn1.hetzner.com (213.239.252.42) 24.000 ms
7 ex9k1.dc14.fsn1.hetzner.com (213.239.245.122) 15.699 ms 16.425 ms ex9k1.dc14.fsn1.hetzner.com (213.239.245.82) 16.808 ms
8 [REVERSE DNS SERVER] ([IP SERVER]) 17.960 ms !X 17.539 ms !X 17.339 ms !X
Packet loss in 6) en 8). Dat klinkt niet goed. Je zou Hetzner een berichtje kunnen sturen, met wat traceroutes vanaf verschillende servers. Het zou kunnen zijn dat ergens een probleem is met een route of zo?
Ik heb het nu net nog een keer geprobeerd. Dan heb ik geen packet loss meer op die endpoints. Ook een gewone ping command naar de server toe geeft mij geen problemen met de volgende statistics:
13 packets transmitted, 13 received, 0% packet loss, time 12014ms
rtt min/avg/max/mdev = 15.001/15.238/17.080/0.533 ms
Wat ik dan raar vind is dat jij dus wel gewoon snel kunt uploaden richting die servers. Dat doet mij dan denken dat het probleem ergens bij mijn netwerk (of aan de tweak kant) ligt.
Zo simpel is het niet. Die co-lo’s zijn waanzinnig complex en hebben meerdere inroutes via meerdere kabels via meerdere systemen van meerdere vendors om maar die 99.9…% uptime te kunnen halen. Dus als je het idee hebt dat jij op jou server niet de performance haalt die je denkt te moeten halen, dan kun je het beste kijken of je vanaf verschillende punten (landen evt.) flush pings kunt doen en kunt kijken of je vanaf daar echt structureel een probleem ziet.
Oke. Als ik je reactie goed lees bedoel je dus dat er dus op meerdere plekken dan een probleem zou moeten zitten.
Het gekke is alleen dat wanneer ik vanaf allerlei locaties probeer te uploaden/downloaden van de server ik totaal geen problemen heb:
Kantoor bedrijf
Kantoor van mijn stagebedrijf
Huis collega
Andere servers binnen nederland/duitsland
Daar is de snelheid richting de server altijd zoals hij moet zijn.
Ik heb dit probleem ook niet alleen op die server, maar ook op andere servers die we hebben bij Hetzner. Allemaal geven ze exact hetzelfde resultaat.
Misschien is het eens het proberen waard als ik de Fritzbox er even weer voor hang om te kijken of dit nog een ander resultaat geeft. Maar naar mijn beleving is het altijd al zo geweest sinds ik bij Tweak zit.
Fritz! heeft de eigenschap om in begin een beetje traag te wezen. Dit is volgens de mensen van Fritz! een eigenschap om te voorkomen dat de lijn opeens op 1000mbit dicht slaat. Na de laatste firmware update is de vertraging van 10 sec ongeveer 2-3 seconden. En gaat het opeens een stuk relaxter.
Misschien dat jouw Unifi USG 3P ook een soort gelijke afhandeling voor heeft. En met ftp / scp (sftp) word telkens een nieuwe poort gebruikt per transmissie mits je dit aangeeft dat die dit niet moet doen.
Ik gebruik zelf vps van strato en die verbind ik met sshfs (Linux) die zitten op 1000mbit lijnen de snelheid is bijna 't zelfde alsof ik het op mijn eigen thuis server plaats.
traceroute to 213.239.245.122 (213.239.245.122), 30 hops max, 60 byte packets
1 fritz.box (192.168.1.1) 0.346 ms 0.502 ms 0.640 ms
2 asd-itxams9-rtr1-ve205.cambrium.net (217.19.16.21) 7.742 ms 7.823 ms 7.805 ms
3 asd-nikh-rtr1-ae0-171.cambrium.net (217.19.16.6) 7.863 ms 7.892 ms 7.858 ms
4 speed-ix.hetzner.com (185.1.95.73) 8.147 ms 8.128 ms 8.303 ms
5 core4.fra.hetzner.com (213.239.252.45) 22.367 ms 22.348 ms 22.330 ms
6 core24.fsn1.hetzner.com (213.239.224.253) 42.860 ms
Bij mij geeft die bij een traceroute richting 213.239.245.122 al een hele andere route dan bij jou. Daar kan best ergens een knikje in de kabel zitten waar jij last van hebt en andere Tweak gebruikers niet.
Medio vorig jaar had ik opeens overal een slechte verbinding, eerst leek het probleem in mijn switch te zitten paar dagen weer redelijk tot het geklooi weer begon.
Tweak gebeld en de demping laten controleren op de lijn en die was veel te hoog. Monteur geweest die heeft even de las opnieuw gemaakt en de demping was weer normaal.
Wel grappig is dat ik dik 1.5 jaar niet meer aan de router heb gezeten zelfs niet aan de kabels etc… dus die las kan slechter worden zonder dat je er aan zit blijkbaar.
Dus voor dat je je router en netwerk uit elkaar trekt bel effe de helpdesk en vraag of ze even de demping willen checken. Voor hun een kleine moeite en scheelt jou een boel werk en geld ( ik had een nieuwe switch gekocht ) wanneer het daadwerkelijk aan de lijn ligt.
Ik ben door omstandigheden er helaas nog niet aan toegekomen om dit op te pakken met Tweak. Ik ben van plan tegen het eind van deze week contact met de helpdesk op te nemen.
Ik heb contact gezocht met de helpdesk, ik ben benieuwd naar de uitkomt
mail van helpdesk:
Beste Martijn,
Bedankt voor de informatie! Ik heb dit gelijk doorgezet naar ons technisch beheer. Deze kunnen dit beter controleren dan ik :). Zodra we meer weten, hoort u van ons. Fijne dag!
Met dit antwoord hoop ik voldoende van dienst te zijn. Toch nog vragen of opmerkingen? Reageer dan gerust op deze mail.
Ik heb het verkeer net over een andere pad gerouteerd. Voorheen ging het over Speed-IX, nu over AMS-IX. Ook het verkeer vanuit Hetzner naar ons gaat nu over AMS-IX.
Het zou kunnen dat Hetzner capaciteitsproblemen heeft op Speed-IX en dat het verkeer daarom trager verliep.
Laat maar ff weten of dit iets verbetert aangezien ik dat zelf niet kan controleren.
Ik haal nu 260 mbit, maar dat zou prima aan de service kunnen liggen (naar andere diensten haal ik doorgaans de volle snelheid).
Bedankt voor de snelle reactie en goede oplossing!
