OpenMPTCProuter

BBono · 9 nov 2020

Malaga Grazie mille per la tua testimonianza!

Malaga Per le velocità effettive, io ho praticamente la somma delle due connessioni ( meno un'inezia ), strano tu abbia 80Mbps in download, quanto fa in uno speedtest allo stesso server la VPS?

Penso proprio sia colpa della CPU del 3B, se apro htop mentre faccio uno speedtest vedo un core fisso al 100%.
Speedtest dalla VPS mi da intorno ai 700-800Mbit/s.

Malaga Poi chiaramente alcuni setup, usi glorytun TCP, UDP, shadowsocks, v2ray, nessun proxy, mptcp via vpn su wan...?

Allora, partendo dal presupposto che devo ancora studiarmi un pò tutto sto usando la configurazione di default, quindi per l'obfuscation ho v2ray e penso i tunnel vpn siano UDP ma non ne sono sicuro...

Malaga Preparati a sbattere il muso un po' su tutto, il sw è un po' acerbo e c'è molto a cui star dietro inizialmente per trovare la giusta quadra

Per una volta la testa dura mi sarà utile

Malaga Se vuoi massimizzare le linee in un contesto di rete interna, può aver senso valutare qualcosa tipo pfsense o opnsense.

Avevo già in piedi una soluzione simile con un Miktotik hap ac2 con PCC (da quello che ho capito non è proprio load balancing perchè sceglie per ogni connessione su che wan andare a random) però a me interessa soprattutto migliorare l'upload e, come dice anche nel video su pfsense, questa soluzione non raddoppia la velocità di upload di una singola connessione.

Grazie ancora per i consigli sull'hardware, adesso faccio un pò di ricerche e vedo cosa è più adatto per le velocità a cui voglio andare senza spendere troppo!

Malaga · 9 nov 2020

Bono prova a guardare nel wizard, Avanced settings e cambiare l'algoritmo, di default dovrebbe esserci chacha20, aes purtroppo non c'è sul pi, nemmeno sul 4.
prova a settare "None".

Prova anche a impostare da glorytun TCP a glorytun UDP o MLVPN.
Sul pi con omr c'è omr-test-speed , senza argomento testa la WAN aggregata, se come argomento metti wan1 o wan2 testa il download di ogni singola wan.
Di pfsense mi pare "aggreghi" anche l'upload, in realtà quando sente saturo un link passa ad usare anche l'altro.

Per l'hardware se non hai niente e devi comunque spendere, IMHO ha più senso spendere in un nuc/mini pc che oltre all'aes utile al link criptato ( anche la vps deve averlo, guarda su cat /proc/cpuinfo ) è molto più versatile e puoi farci girare anche altro tranquillamente.

p.s. la velocità aggregata ci sta da voler raggiungere, occhio però al ping verso la vps.

BBono · 10 nov 2020

Ho provato a usare glorytun UDP e MLVP e a spegnere (molto brevemente) la criptazione ma al massimo avrò guadagnato 5 Mbit/s.
Il Raspberry pi 3 non ce l'ha fa proprio e comunque il limite della porta ethernet 100 mega è molto vicino...

Per pfsense non capisco come può aggregare l'upload: cioè se io sono fuori e voglio scaricare sul mio telefono un file che ho sul server Nextcloud a casa, il mio telefono si collega sull'IP della wan di una sola connessione e se gli arriva traffico da un IP diverso (quello dell'altra wan) lo ignorerà in quanto non ha aperto lui quella seconda connessione. Teoricamente è possibile ma servirebbe un client fatto "su misura" per usare 2 wan no?

La cosa che mi sta rendendo difficile scegliere l'hardware è che i 2 modem FTTC non sono fisicamente vicini...
In pratica una è la connessione di casa e l'altra è quella dell'ufficio (al civico di fianco, tutto su proprietà privata) e tra i 2 c'è un link wireless di poche decine metri (sfortunatamente non sono riuscito a far passare un cavo ethernet nel giardino per le canaline troppo piccole).
Adesso già ho un server in ufficio per Nextcloud e un paio di altre cosette ma non voglio usarlo anche per OMR perchè mi ritroverei a fare avanti e indietro sul link wireless visto che tutto il traffico che gestirà OMR verrà generato in casa.
Quindi adesso devo capire se la cosa migliore è cercare di spostare il server in casa (magari tirando un cavo ethernet in cantina dove le ventole non disturbano nessuno) e usarlo anche per OMR o coprire solo la casa con un mini pc che farà solo OMR, per questo speravo di cavarmela con un Raspberry pi 4...

Comunque anche con il Rpi 3 il ping è aumentato di pochi ms, da circa 15 prima a circa 18 adesso. Per quello che vedo il server che speedtest seleziona potrebbe essere nello stesso datacenter della mia VPS (0,17km riportati da speedtest-cli).

Malaga · 10 nov 2020

Bono la vps dovrebbe essere su caldera21 od uno di quei datacenter lì vicino, almeno ad una veloce analisi degli ip.
se perdi poco in ping, non ha blocchi sull'IP su servizi, ottimo, tienitela stretta!
aruba, per dirne uno, va anche su alcuni DC, ma gli indirizzamenti che usa sono quasi tutti bloccati su certi servizi per colpa di pistola che ne abusavano.
Il tuo ragionamento di pfsense è proprio quello, infatti ti avevo scritto "se devi aggregare dall'interno", dall'esterno hai bisogno di un bonding "vero"
Se hai due tratte distinte, IMHO ti conviene tenerle separate e le "unisci" con l'omr router su più interfacce fisiche, come ho fatto io. Poi volendo per la wan di casa e lan puoi usare l'interfaccia virtuale, se proprio, io ho preferito segmentare tutto già che c'ero.
Ma questo dipende un po' da come vuoi realizzare tu la tua rete.
Alla fine tra pi4, sd, alimentatore, blablabla, un minipc non dico che ti viene già fuori ma poco ci manca.
Sono dell'idea, ed è quasi sempre azzeccata, che chi meno spende più spende: spendi il giusto la prima volta e ti togli delle rogne più sei a posto per anni, con spazio per altri progetti in caso.
Tempo fa ero partito anche io con l'idea del pi3b+, poi verso un sbc più potente, vari sbc x86....e alla fine mi son preso il NUC intel
Una categoria completamente diversa di costi, ma tornassi indietro acquisterei direttamente il NUC.

BBono · 10 nov 2020

Purtroppo avevo già usato un tunnel VPN su VPS Aruba un paio d'anni sperando di poterlo usare per guardare Netflix e Sky go dall'estero e ci ero rimasto abbastanza malino quando non funzionava nulla, però tra l'altro con un prezzo di 1 euro al mese non potevo aspettarmi chissà cosa e probabilmente il prezzo ha attirato i pistola di cui parli...

Ok mi hai convinto vada per il NUC o almeno un mini pc x86 se arriva un'offerta interessante nel black friday su Amazon.
Grazie ancora! Aggiornerò quando arriverà il mini pc.

MMariOne · 10 nov 2020

Su aliexpress ne vendono parecchi già predisposti con molte porte eth, i processori sembrano buoni, a livello di nuc 2016 circa, prima di abbandonare l'idea del bonding stavo puntando a quelli, prova a dare un occhio.

Malaga · 10 nov 2020

MariOne mi raccomando, guarda che la cpu supporti l'aes, che aiuta tantissimo a non far macinare la cpu.
anche lato vps possibilmente.

Bono già, basta uno che faccia il cretino e ti bannano l'intera classe...
Ottima decisione.
per le porte aggiuntive io ho preso questo:

BBono · 17 nov 2020

E rieccomi!
Non sono riuscito ad aspettare il black friday e qualche giorno fa ho visto questo mini pc in sconto a 110 Euro e non ho resistito
Ha un Celeron N4000 dual core (con supporto per AES-NI) con frequenza di boost di 2.6 Ghz e per ora sta andando alla grande senza fare alcun rumore e senza scaldare troppo visto che al massimo consuma solo 18W.
Ho installato Proxmox sulla eMMC integrata e ho caricato un container per pi-hole e una VM per OMR.

Con la porta ethernet gigabit integrata sto arrivando a circa 200Mbit/s in download usando Glorytun UDP però non riesco a capire cosa mi sta impedendo di andare a 250Mb/s: la cpu sia del mini pc che del VPS sono sull'80% al massimo e la connessione della VPS non dovrebbe essere il collo di bottiglia con 700 - 800 Mb/s da speedtest-cli.

Sto iniziando a pensare che magari il problema sia l'interfaccia ethernet del mini pc quindi se non riesco a migliorare la velocità giocando un pò con le impostazioni comprerò un interfaccia ethernet-usb3 come la tua anche se purtroppo potrò usare solo una porta visto che non posso tirare un cavo per ogni router direttamente verso OMR...

Comunque per ora me ne sto benone con i miei 200Mbit/s in down e 40 in up!

Un'ultima cosa è il provider della VPS: purtroppo il mio provider (VMium) configura Qemu in modo che non vengano passate correttamente le flag della CPU quindi non vedevo supporto per AES-NI. Per ovviare al problema ho inserito un piccolo modulo nel kernel per modificare le flag (seguendo questa guida) visto che ero comunque sicuro che la CPU in realtà supporta AES-NI e in effetti ora vado a 200Mbit/s senza vedere un grande impiego della CPU ma comunque non mi piace come soluzione perchè il modulo viene caricato all'avvio da rc.local quindi può succedere che venga caricato dopo l'avvio di OMR-VPS e non so come OMR si comporti in quel caso.
Quindi se posso volevo chiederti che provider usi per il VPS e come ti trovi (io sono in provincia di Cremona).

PS. Grazie mille per avermi fatto scoprire Proxmox! é comodissimo e consuma pochissime risorse...

Malaga · 17 nov 2020

Bono ciao, quindi se ho capito bene usi la porta LAN per la LAN + WAN1 + WAN2 ?
Dal router vai in ssh e fai un omr-test-speed , seguito da omr-test-speed wan1 e omr-test-speed wan2 .
Sul router e VPS sei all'80% di cpu? In teoria se l'aes è abilitato su vps e router dovresti avere davvero un uso basso della cpu, tipo max 20-25% se la cpu è scarsa. 80 è molto alto.
Se dai un cat /proc/modules dovresti vedere il modulo aesni_intel tra i moduli caricati giusto?
Ti basta farlo caricare normalmente, con echo aesni_intel | tee -a /etc/modules , come per altro fanno i moduli mptcp e compagnia bella.
io sono su un provider sempre di Milano che è nel datacenter di caldera21, quindi come vmium. La connettività alla fine è sempre quella. In realtà sto perlustrando varie VPS, non ho trovato quella perfetta a livello di ping.
A me un provider 100mpbs mi basta pure, ma voglio il ping estremamente basso, solo che avendo la seconda linea in 4G non è proprio facilissimo.
Da provare ce ne sarebbero varie, di provider non è che ce ne siano 1000 in italia, con la tua banda non è proprio facilissimo. guarda un 500Mbps uplink .
Sì proxmox è bellissimo, gira anche su dei cessi dual core ed è molto più semplice, IMHO, di un esxi. Di fatto è una debian.

Malaga · 17 nov 2020

come minipc, secondo me era indicato una cosa così a budget: https://www.amazon.it/AWOW-Windows-Desktop-Computer-Celeron/dp/B07X92KDXP/ref=pd_sbs_147_3/261-8525659-9119059?_encoding=UTF8&pd_rd_i=B087JJ2N1W&pd_rd_r=6393b86a-855b-4664-84ff-658bf992a5e2&pd_rd_w=47VcX&pd_rd_wg=whHqm&pf_rd_p=26de63c3-766e-46eb-a5d4-5196554180e1&pf_rd_r=5ENCA54TBDNWZ76P924B&refRID=5ENCA54TBDNWZ76P924B&th=1

BBono · 17 nov 2020

Malaga quindi se ho capito bene usi la porta LAN per la LAN + WAN1 + WAN2 ?

Eh si...
La casa è vecchia e diciamo che la rete si è ampliata negli anni senza un minimo di pensiero a riguardo e adesso sono rimasto con questo:
Router casa --(eth)-- salotto(TV, HT, AP) --(WiMax)-- capanno attrezzi(TV, irrigatore, AP per il giardino) --(eth)-- server in ufficio con 2 schede di rete che fa natting verso il router dell'ufficio.
Quindi da casa posso usare 2 gateway:

192.168.1.1 è il modem tim in casa
192.168.1.5 è il server in ufficio che poi fa natting verso 192.168.0.1 (modem tim dell'ufficio)

Quindi adesso OMR ha 3 ip sulla stessa LAN e usa la stessa porta per tutto. é una soluzione orribile lo so ma non sapevo in che altro modo farlo senza usare le VLAN visto che ho un paio di switch unmanaged che non le supportano.

Malaga Ti basta farlo caricare normalmente, con echo aesni_intel | tee -a /etc/modules , come per altro fanno i moduli mptcp e compagnia bella.

Ci avevo provato da subito ma anche dopo un riavvio non compariva niente tra i moduli caricati e facendo il benchmark di cryptsetup non superavo i 100Mbit/s per l'aes.
Invece se carico quel modulo "fai da te" và intorno ai 1000Mbit/s.

Malaga Se dai un cat /proc/modules dovresti vedere il modulo aesni_intel tra i moduli caricati giusto?

Solo se carico anche il mio modulo con questa linea nella funzione di init: set_bit(153, (unsigned long *)(boot_cpu_data.x86_capability));

Comunque con o senza il modulo strano non vedo la flag aes in /proc/cpuinfo però vedo una grande differenza in cryptsetup benchmark.
Quel lkm_example.ko è il modulo "fai da te" che ti dicevo...
VS

Per la VPS se cerchi bassa lantenza posso solo consigliarti VMium però non mi piacciono troppo i data cap che hanno e questi problemi con la flag aes.
Hai per caso mai provato le VPS di GameHosting? Non hanno data cap e mi sa che sono i prossimi che proverò...

Per il mini pc sono ancora in tempo a fare il reso volendo però boh per ora anche se ha solo un dual core non l'ho mai visto con un consumo molto alto... Avrei dovuto specificare che quando ho detto l'80% di utilizzo CPU sul mini pc non intendevo sull'host ma sulla VM di OMR a cui ho solo dedicato un core perchè non vedo differenze a dargliene 1 o 2.

BBono · 17 nov 2020

Sapevo che mi dimenticavo qualcosa
Ecco i risultati di omr-speedtest... Non mi sembrano molto veritieri però.

La velocità di wan1 è giusta ma su wan2 se faccio uno speedtest da pc vado ad almeno 110Mbit/s e lo speedtest usando OMR come gateway da pc mi da sui 190 / 200 Mbit/s...

Malaga · 17 nov 2020

Bono rispondo a questo perché sono di fretta: verifica di fare il test di omr sullo stesso server, perché su server diversi può dare risultati diversi.
se disattivi una WAN, speedtest ookla su stesso server, fai lo stesso giochino con l'altra WAN, hai risultati simili ad omr o sei full banda di entrambe le WAN?
Perché wan1 + wan2 da omr arrvi sui 20MB/s...che sono i 200 che hai di "cap". E' da indagare un po'.

BBono · 17 nov 2020

Ho fatto un pò di speedtest e ho notato che in effetti perdo circa 20Mb/s su wan2 ad usare il vpn di OMR:

VS

Invece su wan1 perdo di meno, circa 5 Mbit/s.
Magari è normale perdere all'incirca questa banda? In fondo non voglio dimentare scemo e farti perdere tempo per un 30/40 mega in più....

Malaga · 17 nov 2020

Bono 10Mbit/s sono 1MB/s e ci sta, perdere 20MB/s sulla wan2 mica tanto.
Tendenzialmente se fai speedtest o usi TCP non usi glorytun, ma vai via shadowsocks...o v2ray se hai impostato quello.
solo UDP+ICMP va su glorytun

BBono · 17 nov 2020

Malaga 10Mbit/s sono 1MB/s

Più o meno si, 10Mbit/s sono 1,25MB/s

Malaga Tendenzialmente se fai speedtest o usi TCP non usi glorytun, ma vai via shadowsocks...o v2ray se hai impostato quello.

Ah ok ho letto bene adesso nelle impostazioni e in effetti è scritto abbastanza chiaramente...
Comunque ora sto usando shadowsocks , ho provato con v2ray ma mi sembra di andare un pochino più lento

Malaga · 17 nov 2020

Bono Quindi adesso OMR ha 3 ip sulla stessa LAN e usa la stessa porta per tutto

sì forse c'è molto traffico da gestire sulla porta, potresti eventualmente vedere con iperf, che viene preinstallato.
edit: c'è già iperf sulla gui del router!

Bono Comunque con o senza il modulo strano non vedo la flag aes in /proc/cpuinfo però vedo una grande differenza in cryptsetup benchmark.
Quel lkm_example.ko è il modulo "fai da te" che ti dicevo...

via modprobe ti carichi anche le dipendenze, piuttosto che insmod.
in cpuinfo non vedrai il flag aes, si vede che non "passa" dall'host, ma se lo forzi è ok.

Bono Per la VPS se cerchi bassa lantenza posso solo consigliarti VMium però non mi piacciono troppo i data cap che hanno e questi problemi con la flag aes.
Hai per caso mai provato le VPS di GameHosting? Non hanno data cap e mi sa che sono i prossimi che proverò...

non ho provato gamehosting, ma guarda che virtualizzatore usa, perché mi pare non vada correttamente mptcp con alcuni.
prova a vedere prometeus o quello che ho linkato.

Bono Comunque ora sto usando shadowsocks , ho provato con v2ray ma mi sembra di andare un pochino più lento

io uso shadowsocks, leggo di gente che ha vari problemi con v2ray.
Ah, con aes-256-gcm se hai più core, usalo perché è multi-threading.

BBono · 18 nov 2020

Malaga sì forse c'è molto traffico da gestire sulla porta, potresti eventualmente vedere con iperf, che viene preinstallato.
edit: c'è già iperf sulla gui del router!

Iperf sull'interfaccia web non sembra funzionare per me, rimane bloccato in eterno sul "waiting for command to finish".

A farlo da cli mi dà questo risultato: (192.168.1.6 è OMR)

Non capisco se è un problema con iperf però perchè quando faccio uno speedtest a 200Mbit/s comunque dalla porta ethernet "entrano" più di 100 mega... Questa è interessante

Malaga non ho provato gamehosting, ma guarda che virtualizzatore usa, perché mi pare non vada correttamente mptcp con alcuni.

Grazie, mi hai risparmiato 5 euro con questa frase
Ho chiesto che virtualizzatore usano e mi hanno detto che usano OpenVZ che purtroppo non è supportato da OMR (peccato perchè mi hanno risposto in meno di 30 minuti, promettevano bene)

Malaga Ah, con aes-256-gcm se hai più core, usalo perché è multi-threading.

Ah ok, adesso gli ho dato 2 core e sto usando aes-256-gcm. La velocità sembra uguale però vedo il carico distribuito da htop, TOP

Malaga · 18 nov 2020

Bono Non capisco se è un problema con iperf però perchè quando faccio uno speedtest a 200Mbit/s comunque dalla porta ethernet "entrano" più di 100 mega

eh, bella domanda: potresti mettere un monitor di rete, tipo bmon o cbm sull'host proxmox e vedere se anche l'host vede quel traffico massimo.
E' che se omr aggrega quasi sommando i due link, quindi se fai 200 invece che 250, se un link da 150, l'altro per forza di cose da 50. Potrebbe anche essere l'isp che limita, direttamente o meno, l'mptcp. Prova nel wizard ad impostare "MPTCP over VPN" per la wan2 e vedere se noti miglioramenti ( dovresti vedere nella sezione OpenVPN la "wan" creata ).

Bono Ho chiesto che virtualizzatore usano e mi hanno detto che usano OpenVZ che purtroppo non è supportato da OMR

eh, meglio così.
Dai un occhio a quei provider che ti ho detto, se offrono qualcosa.

BBono · 18 nov 2020

Ho provato a mettere MPTCP over VPN sia sulla sola wan2 che su entrambe le wan ma mi sembra che la velocità peggiori lievemente...
Stasera provo ad installare un monitor di rete e riporterò i risultati

Ho guardato Prometeus ma il VPS che sarebbe adatto per OMR (KVM SSD VPS ) è out of stock (quella da 5 euro, quella da 9 è ancora disponibile) quindi magari li tengo d'occhio per quando finisco i dati con il provider attuale.
Poi cercando ho trovato anche questo sempre a Caldera21 che sembra interessante...