OpenMPTCProuter

BBono · 17 nov 2020

Malaga quindi se ho capito bene usi la porta LAN per la LAN + WAN1 + WAN2 ?

Eh si...
La casa è vecchia e diciamo che la rete si è ampliata negli anni senza un minimo di pensiero a riguardo e adesso sono rimasto con questo:
Router casa --(eth)-- salotto(TV, HT, AP) --(WiMax)-- capanno attrezzi(TV, irrigatore, AP per il giardino) --(eth)-- server in ufficio con 2 schede di rete che fa natting verso il router dell'ufficio.
Quindi da casa posso usare 2 gateway:

192.168.1.1 è il modem tim in casa
192.168.1.5 è il server in ufficio che poi fa natting verso 192.168.0.1 (modem tim dell'ufficio)

Quindi adesso OMR ha 3 ip sulla stessa LAN e usa la stessa porta per tutto. é una soluzione orribile lo so ma non sapevo in che altro modo farlo senza usare le VLAN visto che ho un paio di switch unmanaged che non le supportano.

Malaga Ti basta farlo caricare normalmente, con echo aesni_intel | tee -a /etc/modules , come per altro fanno i moduli mptcp e compagnia bella.

Ci avevo provato da subito ma anche dopo un riavvio non compariva niente tra i moduli caricati e facendo il benchmark di cryptsetup non superavo i 100Mbit/s per l'aes.
Invece se carico quel modulo "fai da te" và intorno ai 1000Mbit/s.

Malaga Se dai un cat /proc/modules dovresti vedere il modulo aesni_intel tra i moduli caricati giusto?

Solo se carico anche il mio modulo con questa linea nella funzione di init: set_bit(153, (unsigned long *)(boot_cpu_data.x86_capability));

Comunque con o senza il modulo strano non vedo la flag aes in /proc/cpuinfo però vedo una grande differenza in cryptsetup benchmark.
Quel lkm_example.ko è il modulo "fai da te" che ti dicevo...
VS

Per la VPS se cerchi bassa lantenza posso solo consigliarti VMium però non mi piacciono troppo i data cap che hanno e questi problemi con la flag aes.
Hai per caso mai provato le VPS di GameHosting? Non hanno data cap e mi sa che sono i prossimi che proverò...

Per il mini pc sono ancora in tempo a fare il reso volendo però boh per ora anche se ha solo un dual core non l'ho mai visto con un consumo molto alto... Avrei dovuto specificare che quando ho detto l'80% di utilizzo CPU sul mini pc non intendevo sull'host ma sulla VM di OMR a cui ho solo dedicato un core perchè non vedo differenze a dargliene 1 o 2.

BBono · 17 nov 2020

Sapevo che mi dimenticavo qualcosa
Ecco i risultati di omr-speedtest... Non mi sembrano molto veritieri però.

La velocità di wan1 è giusta ma su wan2 se faccio uno speedtest da pc vado ad almeno 110Mbit/s e lo speedtest usando OMR come gateway da pc mi da sui 190 / 200 Mbit/s...

Malaga · 17 nov 2020

Bono rispondo a questo perché sono di fretta: verifica di fare il test di omr sullo stesso server, perché su server diversi può dare risultati diversi.
se disattivi una WAN, speedtest ookla su stesso server, fai lo stesso giochino con l'altra WAN, hai risultati simili ad omr o sei full banda di entrambe le WAN?
Perché wan1 + wan2 da omr arrvi sui 20MB/s...che sono i 200 che hai di "cap". E' da indagare un po'.

BBono · 17 nov 2020

Ho fatto un pò di speedtest e ho notato che in effetti perdo circa 20Mb/s su wan2 ad usare il vpn di OMR:

VS

Invece su wan1 perdo di meno, circa 5 Mbit/s.
Magari è normale perdere all'incirca questa banda? In fondo non voglio dimentare scemo e farti perdere tempo per un 30/40 mega in più....

Malaga · 17 nov 2020

Bono 10Mbit/s sono 1MB/s e ci sta, perdere 20MB/s sulla wan2 mica tanto.
Tendenzialmente se fai speedtest o usi TCP non usi glorytun, ma vai via shadowsocks...o v2ray se hai impostato quello.
solo UDP+ICMP va su glorytun

BBono · 17 nov 2020

Malaga 10Mbit/s sono 1MB/s

Più o meno si, 10Mbit/s sono 1,25MB/s

Malaga Tendenzialmente se fai speedtest o usi TCP non usi glorytun, ma vai via shadowsocks...o v2ray se hai impostato quello.

Ah ok ho letto bene adesso nelle impostazioni e in effetti è scritto abbastanza chiaramente...
Comunque ora sto usando shadowsocks , ho provato con v2ray ma mi sembra di andare un pochino più lento

Malaga · 17 nov 2020

Bono Quindi adesso OMR ha 3 ip sulla stessa LAN e usa la stessa porta per tutto

sì forse c'è molto traffico da gestire sulla porta, potresti eventualmente vedere con iperf, che viene preinstallato.
edit: c'è già iperf sulla gui del router!

Bono Comunque con o senza il modulo strano non vedo la flag aes in /proc/cpuinfo però vedo una grande differenza in cryptsetup benchmark.
Quel lkm_example.ko è il modulo "fai da te" che ti dicevo...

via modprobe ti carichi anche le dipendenze, piuttosto che insmod.
in cpuinfo non vedrai il flag aes, si vede che non "passa" dall'host, ma se lo forzi è ok.

Bono Per la VPS se cerchi bassa lantenza posso solo consigliarti VMium però non mi piacciono troppo i data cap che hanno e questi problemi con la flag aes.
Hai per caso mai provato le VPS di GameHosting? Non hanno data cap e mi sa che sono i prossimi che proverò...

non ho provato gamehosting, ma guarda che virtualizzatore usa, perché mi pare non vada correttamente mptcp con alcuni.
prova a vedere prometeus o quello che ho linkato.

Bono Comunque ora sto usando shadowsocks , ho provato con v2ray ma mi sembra di andare un pochino più lento

io uso shadowsocks, leggo di gente che ha vari problemi con v2ray.
Ah, con aes-256-gcm se hai più core, usalo perché è multi-threading.

BBono · 18 nov 2020

Malaga sì forse c'è molto traffico da gestire sulla porta, potresti eventualmente vedere con iperf, che viene preinstallato.
edit: c'è già iperf sulla gui del router!

Iperf sull'interfaccia web non sembra funzionare per me, rimane bloccato in eterno sul "waiting for command to finish".

A farlo da cli mi dà questo risultato: (192.168.1.6 è OMR)

Non capisco se è un problema con iperf però perchè quando faccio uno speedtest a 200Mbit/s comunque dalla porta ethernet "entrano" più di 100 mega... Questa è interessante

Malaga non ho provato gamehosting, ma guarda che virtualizzatore usa, perché mi pare non vada correttamente mptcp con alcuni.

Grazie, mi hai risparmiato 5 euro con questa frase
Ho chiesto che virtualizzatore usano e mi hanno detto che usano OpenVZ che purtroppo non è supportato da OMR (peccato perchè mi hanno risposto in meno di 30 minuti, promettevano bene)

Malaga Ah, con aes-256-gcm se hai più core, usalo perché è multi-threading.

Ah ok, adesso gli ho dato 2 core e sto usando aes-256-gcm. La velocità sembra uguale però vedo il carico distribuito da htop, TOP

Malaga · 18 nov 2020

Bono Non capisco se è un problema con iperf però perchè quando faccio uno speedtest a 200Mbit/s comunque dalla porta ethernet "entrano" più di 100 mega

eh, bella domanda: potresti mettere un monitor di rete, tipo bmon o cbm sull'host proxmox e vedere se anche l'host vede quel traffico massimo.
E' che se omr aggrega quasi sommando i due link, quindi se fai 200 invece che 250, se un link da 150, l'altro per forza di cose da 50. Potrebbe anche essere l'isp che limita, direttamente o meno, l'mptcp. Prova nel wizard ad impostare "MPTCP over VPN" per la wan2 e vedere se noti miglioramenti ( dovresti vedere nella sezione OpenVPN la "wan" creata ).

Bono Ho chiesto che virtualizzatore usano e mi hanno detto che usano OpenVZ che purtroppo non è supportato da OMR

eh, meglio così.
Dai un occhio a quei provider che ti ho detto, se offrono qualcosa.

BBono · 18 nov 2020

Ho provato a mettere MPTCP over VPN sia sulla sola wan2 che su entrambe le wan ma mi sembra che la velocità peggiori lievemente...
Stasera provo ad installare un monitor di rete e riporterò i risultati

Ho guardato Prometeus ma il VPS che sarebbe adatto per OMR (KVM SSD VPS ) è out of stock (quella da 5 euro, quella da 9 è ancora disponibile) quindi magari li tengo d'occhio per quando finisco i dati con il provider attuale.
Poi cercando ho trovato anche questo sempre a Caldera21 che sembra interessante...

Malaga · 18 nov 2020

Bono

Bono Ho provato a mettere MPTCP over VPN sia sulla sola wan2 che su entrambe le wan ma mi sembra che la velocità peggiori lievemente...

si chiaramente c'è uno strato in più, ma se l'isp blocca quella è la via.
Nemmeno così superi i 200Mbps?

Bono Ho guardato Prometeus ma il VPS che sarebbe adatto per OMR (KVM SSD VPS ) è out of stock (quella da 5 euro, quella da 9 è ancora disponibile) quindi magari li tengo d'occhio per quando finisco i dati con il provider attuale.
Poi cercando ho trovato anche questo sempre a Caldera21 che sembra interessante...

Ha sempre un tetto massimo, guarda domflow
Se no ci sono le TERAKVM che non sembrano male.

BBono · 18 nov 2020

Le TERAKVM hanno un tetto hanno anche loro un tetto di 2TB o 4TB.
Però domflow sembra interessante...
Con "500Mbit/s uplink" intendono che posso andare a 500Mb/s in entrambe le direzioni ma non contemporaneamente secondo te? O intendono che posso inviare 500 e ricevere 500 contemporaneamente?

BBono · 18 nov 2020

Malaga Nemmeno così superi i 200Mbps?

Mi ero dimenticato di rispondere... purtroppo no, in realtà cosi sto a mala pena sui 180Mbit/s

Malaga · 18 nov 2020

Bono bella domanda, secondo me è la banda del LINK, poi saranno sicuramente tutte shared e se ci sono tanti utenti a full banda, o fanno shaping a tutti o ti ritrovi con la max banda che c'è.
ho provato tipo serverit che uso come vps di backup e non hanno mai troncato...e sono proprio cheap eh

Bono Mi ero dimenticato di rispondere... purtroppo no, in realtà cosi sto a mala pena sui 180Mbit/s

ah allora niente.
Ricapitolando, da omr wan1 fa 160Mbps, la wan2 40Mbps e ti ritrovi un 200 come aggregato.
Ma fuori da omr la wan2 quanto va?
Sono rimasto a questo:

Bono aggregare 2 FTTC (una sui 130Mbit/s e l'altra sui 120Mbit/s)

ma i valori da omr sono ben differenti

BBono · 18 nov 2020

Malaga Ricapitolando, da omr wan1 fa 160Mbps, la wan2 40Mbps e ti ritrovi un 200 come aggregato.

Circa, l'ultimo omr-speedtest che ho fatto dava 15,5MB/s (124Mbit/s) su wan1 e 4,5MB/s (36Mbit/s) su wan2 con la velocità aggregata a 8,2MB/s (65Mbit/s)...
Sinceramente non ho mai visto un numero sensato da omr-speedtest, la tua esperienza è diversa?

Malaga Ma fuori da omr la wan2 quanto va?

Allora senza OMR questi sono gli speedtest (sullo stesso server):
wan1

wan2

(in effetti in questi giorni wan2 ha perso un pò ma magari è solo l'ora in cui ho fatto questo speedtest...)

Malaga · 18 nov 2020

Bono Sinceramente non ho mai visto un numero sensato da omr-speedtest, la tua esperienza è diversa?

quanto ci guardavo io, prima della nuova release, sì andava bene, se univi i 2 speedtest dava la somma.

BBono · 28 nov 2020

Trovato il problema!
Cercando un pò tra le impostazioni ho modificato il parametro "congestion control" impostandolo su bbr (nella sezione Network/MPTCP/Settings), prima per qualche motivo era su cubic anche se c'è scritto che il default è brr (e io non ricordo di avere mai modificato questo parametro).
Adesso vado a 230 / 240 mega senza nessun peggioramento del ping.
Grazie tante per l'aiuto @Malaga e spero che questo thread possa servire ad altri che vogliono avventurarsi nel magico mondo di OMR!

Malaga · 28 nov 2020

Bono cubic è perfetto per chi ha una WAN in 4G. A me tra cubic e bbr non ha mai cambiato nulla, vai a dire...
io ho settato così:

e in settings di openmptcprouter ho messo:

se la wan master "cade" l'altra si imposta master senza grossi blocchi, poi quando la wan ex-master torna su si reimposta master qualora torni migliore della attuale master.
poi ognuno deve cercarsi un po' la quadra rispetto alle wan e vps.

BBono · 28 nov 2020

Eh si ho letto In questo issue (in francese mannaggia) che cubic è consigliata per connessioni con velocità variabile ma visto che le mie connessioni sono VDSL non è necessaria e bbr di solito performa meglio.

La Master interface selection l'ho gia in Dynamic change e devo dire che funziona benissimo. Settimana scorsa è saltata la corrente in ufficio e quindi wan2 non era raggiungibile, ero in videolezione e non me ne sono neanche accorto!

Malaga · 7 dic 2020

nel caso si avesse una scheda di rete intel, vanno disabilitati alcuni flag della scheda stessa o si hanno disconnessioni random, il comando da dare è: ethtool -K eth0 tso off gso off gro off .
ethtool va installato.