OpenMPTCProuter

BBono · 10 nov 2020

Ho provato a usare glorytun UDP e MLVP e a spegnere (molto brevemente) la criptazione ma al massimo avrò guadagnato 5 Mbit/s.
Il Raspberry pi 3 non ce l'ha fa proprio e comunque il limite della porta ethernet 100 mega è molto vicino...

Per pfsense non capisco come può aggregare l'upload: cioè se io sono fuori e voglio scaricare sul mio telefono un file che ho sul server Nextcloud a casa, il mio telefono si collega sull'IP della wan di una sola connessione e se gli arriva traffico da un IP diverso (quello dell'altra wan) lo ignorerà in quanto non ha aperto lui quella seconda connessione. Teoricamente è possibile ma servirebbe un client fatto "su misura" per usare 2 wan no?

La cosa che mi sta rendendo difficile scegliere l'hardware è che i 2 modem FTTC non sono fisicamente vicini...
In pratica una è la connessione di casa e l'altra è quella dell'ufficio (al civico di fianco, tutto su proprietà privata) e tra i 2 c'è un link wireless di poche decine metri (sfortunatamente non sono riuscito a far passare un cavo ethernet nel giardino per le canaline troppo piccole).
Adesso già ho un server in ufficio per Nextcloud e un paio di altre cosette ma non voglio usarlo anche per OMR perchè mi ritroverei a fare avanti e indietro sul link wireless visto che tutto il traffico che gestirà OMR verrà generato in casa.
Quindi adesso devo capire se la cosa migliore è cercare di spostare il server in casa (magari tirando un cavo ethernet in cantina dove le ventole non disturbano nessuno) e usarlo anche per OMR o coprire solo la casa con un mini pc che farà solo OMR, per questo speravo di cavarmela con un Raspberry pi 4...

Comunque anche con il Rpi 3 il ping è aumentato di pochi ms, da circa 15 prima a circa 18 adesso. Per quello che vedo il server che speedtest seleziona potrebbe essere nello stesso datacenter della mia VPS (0,17km riportati da speedtest-cli).

Malaga · 10 nov 2020

Bono la vps dovrebbe essere su caldera21 od uno di quei datacenter lì vicino, almeno ad una veloce analisi degli ip.
se perdi poco in ping, non ha blocchi sull'IP su servizi, ottimo, tienitela stretta!
aruba, per dirne uno, va anche su alcuni DC, ma gli indirizzamenti che usa sono quasi tutti bloccati su certi servizi per colpa di pistola che ne abusavano.
Il tuo ragionamento di pfsense è proprio quello, infatti ti avevo scritto "se devi aggregare dall'interno", dall'esterno hai bisogno di un bonding "vero"
Se hai due tratte distinte, IMHO ti conviene tenerle separate e le "unisci" con l'omr router su più interfacce fisiche, come ho fatto io. Poi volendo per la wan di casa e lan puoi usare l'interfaccia virtuale, se proprio, io ho preferito segmentare tutto già che c'ero.
Ma questo dipende un po' da come vuoi realizzare tu la tua rete.
Alla fine tra pi4, sd, alimentatore, blablabla, un minipc non dico che ti viene già fuori ma poco ci manca.
Sono dell'idea, ed è quasi sempre azzeccata, che chi meno spende più spende: spendi il giusto la prima volta e ti togli delle rogne più sei a posto per anni, con spazio per altri progetti in caso.
Tempo fa ero partito anche io con l'idea del pi3b+, poi verso un sbc più potente, vari sbc x86....e alla fine mi son preso il NUC intel
Una categoria completamente diversa di costi, ma tornassi indietro acquisterei direttamente il NUC.

BBono · 10 nov 2020

Purtroppo avevo già usato un tunnel VPN su VPS Aruba un paio d'anni sperando di poterlo usare per guardare Netflix e Sky go dall'estero e ci ero rimasto abbastanza malino quando non funzionava nulla, però tra l'altro con un prezzo di 1 euro al mese non potevo aspettarmi chissà cosa e probabilmente il prezzo ha attirato i pistola di cui parli...

Ok mi hai convinto vada per il NUC o almeno un mini pc x86 se arriva un'offerta interessante nel black friday su Amazon.
Grazie ancora! Aggiornerò quando arriverà il mini pc.

MMariOne · 10 nov 2020

Su aliexpress ne vendono parecchi già predisposti con molte porte eth, i processori sembrano buoni, a livello di nuc 2016 circa, prima di abbandonare l'idea del bonding stavo puntando a quelli, prova a dare un occhio.

Malaga · 10 nov 2020

MariOne mi raccomando, guarda che la cpu supporti l'aes, che aiuta tantissimo a non far macinare la cpu.
anche lato vps possibilmente.

Bono già, basta uno che faccia il cretino e ti bannano l'intera classe...
Ottima decisione.
per le porte aggiuntive io ho preso questo:

BBono · 17 nov 2020

E rieccomi!
Non sono riuscito ad aspettare il black friday e qualche giorno fa ho visto questo mini pc in sconto a 110 Euro e non ho resistito
Ha un Celeron N4000 dual core (con supporto per AES-NI) con frequenza di boost di 2.6 Ghz e per ora sta andando alla grande senza fare alcun rumore e senza scaldare troppo visto che al massimo consuma solo 18W.
Ho installato Proxmox sulla eMMC integrata e ho caricato un container per pi-hole e una VM per OMR.

Con la porta ethernet gigabit integrata sto arrivando a circa 200Mbit/s in download usando Glorytun UDP però non riesco a capire cosa mi sta impedendo di andare a 250Mb/s: la cpu sia del mini pc che del VPS sono sull'80% al massimo e la connessione della VPS non dovrebbe essere il collo di bottiglia con 700 - 800 Mb/s da speedtest-cli.

Sto iniziando a pensare che magari il problema sia l'interfaccia ethernet del mini pc quindi se non riesco a migliorare la velocità giocando un pò con le impostazioni comprerò un interfaccia ethernet-usb3 come la tua anche se purtroppo potrò usare solo una porta visto che non posso tirare un cavo per ogni router direttamente verso OMR...

Comunque per ora me ne sto benone con i miei 200Mbit/s in down e 40 in up!

Un'ultima cosa è il provider della VPS: purtroppo il mio provider (VMium) configura Qemu in modo che non vengano passate correttamente le flag della CPU quindi non vedevo supporto per AES-NI. Per ovviare al problema ho inserito un piccolo modulo nel kernel per modificare le flag (seguendo questa guida) visto che ero comunque sicuro che la CPU in realtà supporta AES-NI e in effetti ora vado a 200Mbit/s senza vedere un grande impiego della CPU ma comunque non mi piace come soluzione perchè il modulo viene caricato all'avvio da rc.local quindi può succedere che venga caricato dopo l'avvio di OMR-VPS e non so come OMR si comporti in quel caso.
Quindi se posso volevo chiederti che provider usi per il VPS e come ti trovi (io sono in provincia di Cremona).

PS. Grazie mille per avermi fatto scoprire Proxmox! é comodissimo e consuma pochissime risorse...

Malaga · 17 nov 2020

Bono ciao, quindi se ho capito bene usi la porta LAN per la LAN + WAN1 + WAN2 ?
Dal router vai in ssh e fai un omr-test-speed , seguito da omr-test-speed wan1 e omr-test-speed wan2 .
Sul router e VPS sei all'80% di cpu? In teoria se l'aes è abilitato su vps e router dovresti avere davvero un uso basso della cpu, tipo max 20-25% se la cpu è scarsa. 80 è molto alto.
Se dai un cat /proc/modules dovresti vedere il modulo aesni_intel tra i moduli caricati giusto?
Ti basta farlo caricare normalmente, con echo aesni_intel | tee -a /etc/modules , come per altro fanno i moduli mptcp e compagnia bella.
io sono su un provider sempre di Milano che è nel datacenter di caldera21, quindi come vmium. La connettività alla fine è sempre quella. In realtà sto perlustrando varie VPS, non ho trovato quella perfetta a livello di ping.
A me un provider 100mpbs mi basta pure, ma voglio il ping estremamente basso, solo che avendo la seconda linea in 4G non è proprio facilissimo.
Da provare ce ne sarebbero varie, di provider non è che ce ne siano 1000 in italia, con la tua banda non è proprio facilissimo. guarda un 500Mbps uplink .
Sì proxmox è bellissimo, gira anche su dei cessi dual core ed è molto più semplice, IMHO, di un esxi. Di fatto è una debian.

Malaga · 17 nov 2020

come minipc, secondo me era indicato una cosa così a budget: https://www.amazon.it/AWOW-Windows-Desktop-Computer-Celeron/dp/B07X92KDXP/ref=pd_sbs_147_3/261-8525659-9119059?_encoding=UTF8&pd_rd_i=B087JJ2N1W&pd_rd_r=6393b86a-855b-4664-84ff-658bf992a5e2&pd_rd_w=47VcX&pd_rd_wg=whHqm&pf_rd_p=26de63c3-766e-46eb-a5d4-5196554180e1&pf_rd_r=5ENCA54TBDNWZ76P924B&refRID=5ENCA54TBDNWZ76P924B&th=1

BBono · 17 nov 2020

Malaga quindi se ho capito bene usi la porta LAN per la LAN + WAN1 + WAN2 ?

Eh si...
La casa è vecchia e diciamo che la rete si è ampliata negli anni senza un minimo di pensiero a riguardo e adesso sono rimasto con questo:
Router casa --(eth)-- salotto(TV, HT, AP) --(WiMax)-- capanno attrezzi(TV, irrigatore, AP per il giardino) --(eth)-- server in ufficio con 2 schede di rete che fa natting verso il router dell'ufficio.
Quindi da casa posso usare 2 gateway:

192.168.1.1 è il modem tim in casa
192.168.1.5 è il server in ufficio che poi fa natting verso 192.168.0.1 (modem tim dell'ufficio)

Quindi adesso OMR ha 3 ip sulla stessa LAN e usa la stessa porta per tutto. é una soluzione orribile lo so ma non sapevo in che altro modo farlo senza usare le VLAN visto che ho un paio di switch unmanaged che non le supportano.

Malaga Ti basta farlo caricare normalmente, con echo aesni_intel | tee -a /etc/modules , come per altro fanno i moduli mptcp e compagnia bella.

Ci avevo provato da subito ma anche dopo un riavvio non compariva niente tra i moduli caricati e facendo il benchmark di cryptsetup non superavo i 100Mbit/s per l'aes.
Invece se carico quel modulo "fai da te" và intorno ai 1000Mbit/s.

Malaga Se dai un cat /proc/modules dovresti vedere il modulo aesni_intel tra i moduli caricati giusto?

Solo se carico anche il mio modulo con questa linea nella funzione di init: set_bit(153, (unsigned long *)(boot_cpu_data.x86_capability));

Comunque con o senza il modulo strano non vedo la flag aes in /proc/cpuinfo però vedo una grande differenza in cryptsetup benchmark.
Quel lkm_example.ko è il modulo "fai da te" che ti dicevo...
VS

Per la VPS se cerchi bassa lantenza posso solo consigliarti VMium però non mi piacciono troppo i data cap che hanno e questi problemi con la flag aes.
Hai per caso mai provato le VPS di GameHosting? Non hanno data cap e mi sa che sono i prossimi che proverò...

Per il mini pc sono ancora in tempo a fare il reso volendo però boh per ora anche se ha solo un dual core non l'ho mai visto con un consumo molto alto... Avrei dovuto specificare che quando ho detto l'80% di utilizzo CPU sul mini pc non intendevo sull'host ma sulla VM di OMR a cui ho solo dedicato un core perchè non vedo differenze a dargliene 1 o 2.

BBono · 17 nov 2020

Sapevo che mi dimenticavo qualcosa
Ecco i risultati di omr-speedtest... Non mi sembrano molto veritieri però.

La velocità di wan1 è giusta ma su wan2 se faccio uno speedtest da pc vado ad almeno 110Mbit/s e lo speedtest usando OMR come gateway da pc mi da sui 190 / 200 Mbit/s...

Malaga · 17 nov 2020

Bono rispondo a questo perché sono di fretta: verifica di fare il test di omr sullo stesso server, perché su server diversi può dare risultati diversi.
se disattivi una WAN, speedtest ookla su stesso server, fai lo stesso giochino con l'altra WAN, hai risultati simili ad omr o sei full banda di entrambe le WAN?
Perché wan1 + wan2 da omr arrvi sui 20MB/s...che sono i 200 che hai di "cap". E' da indagare un po'.

BBono · 17 nov 2020

Ho fatto un pò di speedtest e ho notato che in effetti perdo circa 20Mb/s su wan2 ad usare il vpn di OMR:

VS

Invece su wan1 perdo di meno, circa 5 Mbit/s.
Magari è normale perdere all'incirca questa banda? In fondo non voglio dimentare scemo e farti perdere tempo per un 30/40 mega in più....

Malaga · 17 nov 2020

Bono 10Mbit/s sono 1MB/s e ci sta, perdere 20MB/s sulla wan2 mica tanto.
Tendenzialmente se fai speedtest o usi TCP non usi glorytun, ma vai via shadowsocks...o v2ray se hai impostato quello.
solo UDP+ICMP va su glorytun

BBono · 17 nov 2020

Malaga 10Mbit/s sono 1MB/s

Più o meno si, 10Mbit/s sono 1,25MB/s

Malaga Tendenzialmente se fai speedtest o usi TCP non usi glorytun, ma vai via shadowsocks...o v2ray se hai impostato quello.

Ah ok ho letto bene adesso nelle impostazioni e in effetti è scritto abbastanza chiaramente...
Comunque ora sto usando shadowsocks , ho provato con v2ray ma mi sembra di andare un pochino più lento

Malaga · 17 nov 2020

Bono Quindi adesso OMR ha 3 ip sulla stessa LAN e usa la stessa porta per tutto

sì forse c'è molto traffico da gestire sulla porta, potresti eventualmente vedere con iperf, che viene preinstallato.
edit: c'è già iperf sulla gui del router!

Bono Comunque con o senza il modulo strano non vedo la flag aes in /proc/cpuinfo però vedo una grande differenza in cryptsetup benchmark.
Quel lkm_example.ko è il modulo "fai da te" che ti dicevo...

via modprobe ti carichi anche le dipendenze, piuttosto che insmod.
in cpuinfo non vedrai il flag aes, si vede che non "passa" dall'host, ma se lo forzi è ok.

Bono Per la VPS se cerchi bassa lantenza posso solo consigliarti VMium però non mi piacciono troppo i data cap che hanno e questi problemi con la flag aes.
Hai per caso mai provato le VPS di GameHosting? Non hanno data cap e mi sa che sono i prossimi che proverò...

non ho provato gamehosting, ma guarda che virtualizzatore usa, perché mi pare non vada correttamente mptcp con alcuni.
prova a vedere prometeus o quello che ho linkato.

Bono Comunque ora sto usando shadowsocks , ho provato con v2ray ma mi sembra di andare un pochino più lento

io uso shadowsocks, leggo di gente che ha vari problemi con v2ray.
Ah, con aes-256-gcm se hai più core, usalo perché è multi-threading.

BBono · 18 nov 2020

Malaga sì forse c'è molto traffico da gestire sulla porta, potresti eventualmente vedere con iperf, che viene preinstallato.
edit: c'è già iperf sulla gui del router!

Iperf sull'interfaccia web non sembra funzionare per me, rimane bloccato in eterno sul "waiting for command to finish".

A farlo da cli mi dà questo risultato: (192.168.1.6 è OMR)

Non capisco se è un problema con iperf però perchè quando faccio uno speedtest a 200Mbit/s comunque dalla porta ethernet "entrano" più di 100 mega... Questa è interessante

Malaga non ho provato gamehosting, ma guarda che virtualizzatore usa, perché mi pare non vada correttamente mptcp con alcuni.

Grazie, mi hai risparmiato 5 euro con questa frase
Ho chiesto che virtualizzatore usano e mi hanno detto che usano OpenVZ che purtroppo non è supportato da OMR (peccato perchè mi hanno risposto in meno di 30 minuti, promettevano bene)

Malaga Ah, con aes-256-gcm se hai più core, usalo perché è multi-threading.

Ah ok, adesso gli ho dato 2 core e sto usando aes-256-gcm. La velocità sembra uguale però vedo il carico distribuito da htop, TOP

Malaga · 18 nov 2020

Bono Non capisco se è un problema con iperf però perchè quando faccio uno speedtest a 200Mbit/s comunque dalla porta ethernet "entrano" più di 100 mega

eh, bella domanda: potresti mettere un monitor di rete, tipo bmon o cbm sull'host proxmox e vedere se anche l'host vede quel traffico massimo.
E' che se omr aggrega quasi sommando i due link, quindi se fai 200 invece che 250, se un link da 150, l'altro per forza di cose da 50. Potrebbe anche essere l'isp che limita, direttamente o meno, l'mptcp. Prova nel wizard ad impostare "MPTCP over VPN" per la wan2 e vedere se noti miglioramenti ( dovresti vedere nella sezione OpenVPN la "wan" creata ).

Bono Ho chiesto che virtualizzatore usano e mi hanno detto che usano OpenVZ che purtroppo non è supportato da OMR

eh, meglio così.
Dai un occhio a quei provider che ti ho detto, se offrono qualcosa.

BBono · 18 nov 2020

Ho provato a mettere MPTCP over VPN sia sulla sola wan2 che su entrambe le wan ma mi sembra che la velocità peggiori lievemente...
Stasera provo ad installare un monitor di rete e riporterò i risultati

Ho guardato Prometeus ma il VPS che sarebbe adatto per OMR (KVM SSD VPS ) è out of stock (quella da 5 euro, quella da 9 è ancora disponibile) quindi magari li tengo d'occhio per quando finisco i dati con il provider attuale.
Poi cercando ho trovato anche questo sempre a Caldera21 che sembra interessante...

Malaga · 18 nov 2020

Bono

Bono Ho provato a mettere MPTCP over VPN sia sulla sola wan2 che su entrambe le wan ma mi sembra che la velocità peggiori lievemente...

si chiaramente c'è uno strato in più, ma se l'isp blocca quella è la via.
Nemmeno così superi i 200Mbps?

Bono Ho guardato Prometeus ma il VPS che sarebbe adatto per OMR (KVM SSD VPS ) è out of stock (quella da 5 euro, quella da 9 è ancora disponibile) quindi magari li tengo d'occhio per quando finisco i dati con il provider attuale.
Poi cercando ho trovato anche questo sempre a Caldera21 che sembra interessante...

Ha sempre un tetto massimo, guarda domflow
Se no ci sono le TERAKVM che non sembrano male.

BBono · 18 nov 2020

Le TERAKVM hanno un tetto hanno anche loro un tetto di 2TB o 4TB.
Però domflow sembra interessante...
Con "500Mbit/s uplink" intendono che posso andare a 500Mb/s in entrambe le direzioni ma non contemporaneamente secondo te? O intendono che posso inviare 500 e ricevere 500 contemporaneamente?