OpenMPTCProuter

BBono · 17 nov 2020

E rieccomi!
Non sono riuscito ad aspettare il black friday e qualche giorno fa ho visto questo mini pc in sconto a 110 Euro e non ho resistito
Ha un Celeron N4000 dual core (con supporto per AES-NI) con frequenza di boost di 2.6 Ghz e per ora sta andando alla grande senza fare alcun rumore e senza scaldare troppo visto che al massimo consuma solo 18W.
Ho installato Proxmox sulla eMMC integrata e ho caricato un container per pi-hole e una VM per OMR.

Con la porta ethernet gigabit integrata sto arrivando a circa 200Mbit/s in download usando Glorytun UDP però non riesco a capire cosa mi sta impedendo di andare a 250Mb/s: la cpu sia del mini pc che del VPS sono sull'80% al massimo e la connessione della VPS non dovrebbe essere il collo di bottiglia con 700 - 800 Mb/s da speedtest-cli.

Sto iniziando a pensare che magari il problema sia l'interfaccia ethernet del mini pc quindi se non riesco a migliorare la velocità giocando un pò con le impostazioni comprerò un interfaccia ethernet-usb3 come la tua anche se purtroppo potrò usare solo una porta visto che non posso tirare un cavo per ogni router direttamente verso OMR...

Comunque per ora me ne sto benone con i miei 200Mbit/s in down e 40 in up!

Un'ultima cosa è il provider della VPS: purtroppo il mio provider (VMium) configura Qemu in modo che non vengano passate correttamente le flag della CPU quindi non vedevo supporto per AES-NI. Per ovviare al problema ho inserito un piccolo modulo nel kernel per modificare le flag (seguendo questa guida) visto che ero comunque sicuro che la CPU in realtà supporta AES-NI e in effetti ora vado a 200Mbit/s senza vedere un grande impiego della CPU ma comunque non mi piace come soluzione perchè il modulo viene caricato all'avvio da rc.local quindi può succedere che venga caricato dopo l'avvio di OMR-VPS e non so come OMR si comporti in quel caso.
Quindi se posso volevo chiederti che provider usi per il VPS e come ti trovi (io sono in provincia di Cremona).

PS. Grazie mille per avermi fatto scoprire Proxmox! é comodissimo e consuma pochissime risorse...

Malaga · 17 nov 2020

Bono ciao, quindi se ho capito bene usi la porta LAN per la LAN + WAN1 + WAN2 ?
Dal router vai in ssh e fai un omr-test-speed , seguito da omr-test-speed wan1 e omr-test-speed wan2 .
Sul router e VPS sei all'80% di cpu? In teoria se l'aes è abilitato su vps e router dovresti avere davvero un uso basso della cpu, tipo max 20-25% se la cpu è scarsa. 80 è molto alto.
Se dai un cat /proc/modules dovresti vedere il modulo aesni_intel tra i moduli caricati giusto?
Ti basta farlo caricare normalmente, con echo aesni_intel | tee -a /etc/modules , come per altro fanno i moduli mptcp e compagnia bella.
io sono su un provider sempre di Milano che è nel datacenter di caldera21, quindi come vmium. La connettività alla fine è sempre quella. In realtà sto perlustrando varie VPS, non ho trovato quella perfetta a livello di ping.
A me un provider 100mpbs mi basta pure, ma voglio il ping estremamente basso, solo che avendo la seconda linea in 4G non è proprio facilissimo.
Da provare ce ne sarebbero varie, di provider non è che ce ne siano 1000 in italia, con la tua banda non è proprio facilissimo. guarda un 500Mbps uplink .
Sì proxmox è bellissimo, gira anche su dei cessi dual core ed è molto più semplice, IMHO, di un esxi. Di fatto è una debian.

Malaga · 17 nov 2020

come minipc, secondo me era indicato una cosa così a budget: https://www.amazon.it/AWOW-Windows-Desktop-Computer-Celeron/dp/B07X92KDXP/ref=pd_sbs_147_3/261-8525659-9119059?_encoding=UTF8&pd_rd_i=B087JJ2N1W&pd_rd_r=6393b86a-855b-4664-84ff-658bf992a5e2&pd_rd_w=47VcX&pd_rd_wg=whHqm&pf_rd_p=26de63c3-766e-46eb-a5d4-5196554180e1&pf_rd_r=5ENCA54TBDNWZ76P924B&refRID=5ENCA54TBDNWZ76P924B&th=1

BBono · 17 nov 2020

Malaga quindi se ho capito bene usi la porta LAN per la LAN + WAN1 + WAN2 ?

Eh si...
La casa è vecchia e diciamo che la rete si è ampliata negli anni senza un minimo di pensiero a riguardo e adesso sono rimasto con questo:
Router casa --(eth)-- salotto(TV, HT, AP) --(WiMax)-- capanno attrezzi(TV, irrigatore, AP per il giardino) --(eth)-- server in ufficio con 2 schede di rete che fa natting verso il router dell'ufficio.
Quindi da casa posso usare 2 gateway:

192.168.1.1 è il modem tim in casa
192.168.1.5 è il server in ufficio che poi fa natting verso 192.168.0.1 (modem tim dell'ufficio)

Quindi adesso OMR ha 3 ip sulla stessa LAN e usa la stessa porta per tutto. é una soluzione orribile lo so ma non sapevo in che altro modo farlo senza usare le VLAN visto che ho un paio di switch unmanaged che non le supportano.

Malaga Ti basta farlo caricare normalmente, con echo aesni_intel | tee -a /etc/modules , come per altro fanno i moduli mptcp e compagnia bella.

Ci avevo provato da subito ma anche dopo un riavvio non compariva niente tra i moduli caricati e facendo il benchmark di cryptsetup non superavo i 100Mbit/s per l'aes.
Invece se carico quel modulo "fai da te" và intorno ai 1000Mbit/s.

Malaga Se dai un cat /proc/modules dovresti vedere il modulo aesni_intel tra i moduli caricati giusto?

Solo se carico anche il mio modulo con questa linea nella funzione di init: set_bit(153, (unsigned long *)(boot_cpu_data.x86_capability));

Comunque con o senza il modulo strano non vedo la flag aes in /proc/cpuinfo però vedo una grande differenza in cryptsetup benchmark.
Quel lkm_example.ko è il modulo "fai da te" che ti dicevo...
VS

Per la VPS se cerchi bassa lantenza posso solo consigliarti VMium però non mi piacciono troppo i data cap che hanno e questi problemi con la flag aes.
Hai per caso mai provato le VPS di GameHosting? Non hanno data cap e mi sa che sono i prossimi che proverò...

Per il mini pc sono ancora in tempo a fare il reso volendo però boh per ora anche se ha solo un dual core non l'ho mai visto con un consumo molto alto... Avrei dovuto specificare che quando ho detto l'80% di utilizzo CPU sul mini pc non intendevo sull'host ma sulla VM di OMR a cui ho solo dedicato un core perchè non vedo differenze a dargliene 1 o 2.

BBono · 17 nov 2020

Sapevo che mi dimenticavo qualcosa
Ecco i risultati di omr-speedtest... Non mi sembrano molto veritieri però.

La velocità di wan1 è giusta ma su wan2 se faccio uno speedtest da pc vado ad almeno 110Mbit/s e lo speedtest usando OMR come gateway da pc mi da sui 190 / 200 Mbit/s...

Malaga · 17 nov 2020

Bono rispondo a questo perché sono di fretta: verifica di fare il test di omr sullo stesso server, perché su server diversi può dare risultati diversi.
se disattivi una WAN, speedtest ookla su stesso server, fai lo stesso giochino con l'altra WAN, hai risultati simili ad omr o sei full banda di entrambe le WAN?
Perché wan1 + wan2 da omr arrvi sui 20MB/s...che sono i 200 che hai di "cap". E' da indagare un po'.

BBono · 17 nov 2020

Ho fatto un pò di speedtest e ho notato che in effetti perdo circa 20Mb/s su wan2 ad usare il vpn di OMR:

VS

Invece su wan1 perdo di meno, circa 5 Mbit/s.
Magari è normale perdere all'incirca questa banda? In fondo non voglio dimentare scemo e farti perdere tempo per un 30/40 mega in più....

Malaga · 17 nov 2020

Bono 10Mbit/s sono 1MB/s e ci sta, perdere 20MB/s sulla wan2 mica tanto.
Tendenzialmente se fai speedtest o usi TCP non usi glorytun, ma vai via shadowsocks...o v2ray se hai impostato quello.
solo UDP+ICMP va su glorytun

BBono · 17 nov 2020

Malaga 10Mbit/s sono 1MB/s

Più o meno si, 10Mbit/s sono 1,25MB/s

Malaga Tendenzialmente se fai speedtest o usi TCP non usi glorytun, ma vai via shadowsocks...o v2ray se hai impostato quello.

Ah ok ho letto bene adesso nelle impostazioni e in effetti è scritto abbastanza chiaramente...
Comunque ora sto usando shadowsocks , ho provato con v2ray ma mi sembra di andare un pochino più lento

Malaga · 17 nov 2020

Bono Quindi adesso OMR ha 3 ip sulla stessa LAN e usa la stessa porta per tutto

sì forse c'è molto traffico da gestire sulla porta, potresti eventualmente vedere con iperf, che viene preinstallato.
edit: c'è già iperf sulla gui del router!

Bono Comunque con o senza il modulo strano non vedo la flag aes in /proc/cpuinfo però vedo una grande differenza in cryptsetup benchmark.
Quel lkm_example.ko è il modulo "fai da te" che ti dicevo...

via modprobe ti carichi anche le dipendenze, piuttosto che insmod.
in cpuinfo non vedrai il flag aes, si vede che non "passa" dall'host, ma se lo forzi è ok.

Bono Per la VPS se cerchi bassa lantenza posso solo consigliarti VMium però non mi piacciono troppo i data cap che hanno e questi problemi con la flag aes.
Hai per caso mai provato le VPS di GameHosting? Non hanno data cap e mi sa che sono i prossimi che proverò...

non ho provato gamehosting, ma guarda che virtualizzatore usa, perché mi pare non vada correttamente mptcp con alcuni.
prova a vedere prometeus o quello che ho linkato.

Bono Comunque ora sto usando shadowsocks , ho provato con v2ray ma mi sembra di andare un pochino più lento

io uso shadowsocks, leggo di gente che ha vari problemi con v2ray.
Ah, con aes-256-gcm se hai più core, usalo perché è multi-threading.

BBono · 18 nov 2020

Malaga sì forse c'è molto traffico da gestire sulla porta, potresti eventualmente vedere con iperf, che viene preinstallato.
edit: c'è già iperf sulla gui del router!

Iperf sull'interfaccia web non sembra funzionare per me, rimane bloccato in eterno sul "waiting for command to finish".

A farlo da cli mi dà questo risultato: (192.168.1.6 è OMR)

Non capisco se è un problema con iperf però perchè quando faccio uno speedtest a 200Mbit/s comunque dalla porta ethernet "entrano" più di 100 mega... Questa è interessante

Malaga non ho provato gamehosting, ma guarda che virtualizzatore usa, perché mi pare non vada correttamente mptcp con alcuni.

Grazie, mi hai risparmiato 5 euro con questa frase
Ho chiesto che virtualizzatore usano e mi hanno detto che usano OpenVZ che purtroppo non è supportato da OMR (peccato perchè mi hanno risposto in meno di 30 minuti, promettevano bene)

Malaga Ah, con aes-256-gcm se hai più core, usalo perché è multi-threading.

Ah ok, adesso gli ho dato 2 core e sto usando aes-256-gcm. La velocità sembra uguale però vedo il carico distribuito da htop, TOP

Malaga · 18 nov 2020

Bono Non capisco se è un problema con iperf però perchè quando faccio uno speedtest a 200Mbit/s comunque dalla porta ethernet "entrano" più di 100 mega

eh, bella domanda: potresti mettere un monitor di rete, tipo bmon o cbm sull'host proxmox e vedere se anche l'host vede quel traffico massimo.
E' che se omr aggrega quasi sommando i due link, quindi se fai 200 invece che 250, se un link da 150, l'altro per forza di cose da 50. Potrebbe anche essere l'isp che limita, direttamente o meno, l'mptcp. Prova nel wizard ad impostare "MPTCP over VPN" per la wan2 e vedere se noti miglioramenti ( dovresti vedere nella sezione OpenVPN la "wan" creata ).

Bono Ho chiesto che virtualizzatore usano e mi hanno detto che usano OpenVZ che purtroppo non è supportato da OMR

eh, meglio così.
Dai un occhio a quei provider che ti ho detto, se offrono qualcosa.

BBono · 18 nov 2020

Ho provato a mettere MPTCP over VPN sia sulla sola wan2 che su entrambe le wan ma mi sembra che la velocità peggiori lievemente...
Stasera provo ad installare un monitor di rete e riporterò i risultati

Ho guardato Prometeus ma il VPS che sarebbe adatto per OMR (KVM SSD VPS ) è out of stock (quella da 5 euro, quella da 9 è ancora disponibile) quindi magari li tengo d'occhio per quando finisco i dati con il provider attuale.
Poi cercando ho trovato anche questo sempre a Caldera21 che sembra interessante...

Malaga · 18 nov 2020

Bono

Bono Ho provato a mettere MPTCP over VPN sia sulla sola wan2 che su entrambe le wan ma mi sembra che la velocità peggiori lievemente...

si chiaramente c'è uno strato in più, ma se l'isp blocca quella è la via.
Nemmeno così superi i 200Mbps?

Bono Ho guardato Prometeus ma il VPS che sarebbe adatto per OMR (KVM SSD VPS ) è out of stock (quella da 5 euro, quella da 9 è ancora disponibile) quindi magari li tengo d'occhio per quando finisco i dati con il provider attuale.
Poi cercando ho trovato anche questo sempre a Caldera21 che sembra interessante...

Ha sempre un tetto massimo, guarda domflow
Se no ci sono le TERAKVM che non sembrano male.

BBono · 18 nov 2020

Le TERAKVM hanno un tetto hanno anche loro un tetto di 2TB o 4TB.
Però domflow sembra interessante...
Con "500Mbit/s uplink" intendono che posso andare a 500Mb/s in entrambe le direzioni ma non contemporaneamente secondo te? O intendono che posso inviare 500 e ricevere 500 contemporaneamente?

BBono · 18 nov 2020

Malaga Nemmeno così superi i 200Mbps?

Mi ero dimenticato di rispondere... purtroppo no, in realtà cosi sto a mala pena sui 180Mbit/s

Malaga · 18 nov 2020

Bono bella domanda, secondo me è la banda del LINK, poi saranno sicuramente tutte shared e se ci sono tanti utenti a full banda, o fanno shaping a tutti o ti ritrovi con la max banda che c'è.
ho provato tipo serverit che uso come vps di backup e non hanno mai troncato...e sono proprio cheap eh

Bono Mi ero dimenticato di rispondere... purtroppo no, in realtà cosi sto a mala pena sui 180Mbit/s

ah allora niente.
Ricapitolando, da omr wan1 fa 160Mbps, la wan2 40Mbps e ti ritrovi un 200 come aggregato.
Ma fuori da omr la wan2 quanto va?
Sono rimasto a questo:

Bono aggregare 2 FTTC (una sui 130Mbit/s e l'altra sui 120Mbit/s)

ma i valori da omr sono ben differenti

BBono · 18 nov 2020

Malaga Ricapitolando, da omr wan1 fa 160Mbps, la wan2 40Mbps e ti ritrovi un 200 come aggregato.

Circa, l'ultimo omr-speedtest che ho fatto dava 15,5MB/s (124Mbit/s) su wan1 e 4,5MB/s (36Mbit/s) su wan2 con la velocità aggregata a 8,2MB/s (65Mbit/s)...
Sinceramente non ho mai visto un numero sensato da omr-speedtest, la tua esperienza è diversa?

Malaga Ma fuori da omr la wan2 quanto va?

Allora senza OMR questi sono gli speedtest (sullo stesso server):
wan1

wan2

(in effetti in questi giorni wan2 ha perso un pò ma magari è solo l'ora in cui ho fatto questo speedtest...)

Malaga · 18 nov 2020

Bono Sinceramente non ho mai visto un numero sensato da omr-speedtest, la tua esperienza è diversa?

quanto ci guardavo io, prima della nuova release, sì andava bene, se univi i 2 speedtest dava la somma.

BBono · 28 nov 2020

Trovato il problema!
Cercando un pò tra le impostazioni ho modificato il parametro "congestion control" impostandolo su bbr (nella sezione Network/MPTCP/Settings), prima per qualche motivo era su cubic anche se c'è scritto che il default è brr (e io non ricordo di avere mai modificato questo parametro).
Adesso vado a 230 / 240 mega senza nessun peggioramento del ping.
Grazie tante per l'aiuto @Malaga e spero che questo thread possa servire ad altri che vogliono avventurarsi nel magico mondo di OMR!