Considerazioni su latenze OPNsense + Proxmox

19Andrea87 · 2024-08-26T07:14:24+00:00

A mio avviso la scelta di utilizzare schede USB non è proprio delle migliori, a parte la latenza dovuta al protocollo anche il tipo di chipset disponibile non è ideale per essere utilizzato nel mondo linux / bsd.

Do per scontato che le schede 2.5g USB siano basate su chipset realtek (rtl8125?). E' già tanto che ti funzionino benino su proxmox. Escluderei a priori di fare il passthrough di quelle schede verso OPNSense, se cerchi su internet è pieno di post di persone che hanno auvuto problemi.

Che scheda di rete hai come integrata sul pc che stai usando? Hai a valle uno switch managed che ti gestisce le VLAN? potresti provare a fare una copia della VM di opnsense facendolo lavorare come "router on a stick", mettere tutto sull'interfaccia VMBR0 (il bridge della scheda integrata) taggando la WAN sulla vlan giusta e lasciando la lan sulla vlan 1. Così saresti limitato (presumo) ad 1gbit, ma almeno potresti verificare se hai differenze sostanziali di latenza sul primo hop.

Fraternal3954 · 2024-08-26T07:33:52+00:00

Matwolf Il firewall funziona allo stesso modo indipendentemente dalla modalità in cui collego la scheda

Questo è uno dei tipici problemi nel virtualizzare il router: quando va fatto un debug di qualche problema ci sono tante variabili in gioco. Host magari non il top per hardware, configurazione host, schede aggiunte e magari non supportate al 100%, VM.

jesse83 · 2024-08-26T07:50:53+00:00

Fraternal3954 Questo è uno dei tipici problemi nel virtualizzare il router

Concordo pienamente, anche io uso OPNsense ma baremetal, hardware dedicato (mini pc con N100 e Intel I226-V). Zero problemi e prestazioni massime così.

Matwolf · 2024-08-26T22:41:46+00:00

mirko991 e invece avevi ragione tu...!!!
Ho seriamente provato a generare random una ventina di MAC address sull'interfaccia virtuale di Proxmox, ma non ero mai riuscito (pur vedendo delle variazioni) a raggiungere la latenza della scheda che avevo usato per fare i test "diretti".

Preso dallo sconforto, vedendo che su altro hardware addirittura in bare-metal avevo delle latenze ancora più alte, ho provato ad assegnare (tanto ero su un sistema separato) lo stesso mac address della scheda usb che usavo per fare le prove...

Ping di 11-12ms.

Non ho parole....

Ho dei mac address che mi portano la latenza al primo hop a 17-18ms e dei MAC address che invece vanno a 11-12ms.

Il tutto super ripetibile!

Mi sarebbe piaciuto usare un mac address diverso (per non dover appendere al chiodo la scheda alla quale ho rubato il mac address buono) ma non ho capito l'algoritmo con il quale decidono gli instradamenti per potermene costruire uno "buono" a mano
Quindi per il momento ho assegnato il "mac address dalle uova d'oro" alla scheda virtuale di Proxmox che usa OPNsense per la PPPoE e ho scollegato la scheda fisica che lo usava. Funziona tutto egregiamente.

Pensavo fosse solo OpenFiber a fare questa cosa... ma invece a quanto pare anche FiberCop lo fa...

Comunque sono senza parole.... ho perso una valanga di tempo per questa cavolata pensando che il problema fosse chissà dove nello stack... invece era veramente un mac address più fortunato degli altri....

MMrtt · 2024-08-27T07:22:36+00:00

@Matwolf
prova a variare qualcosa nella seconda metà del mac address, così da lasciare inalterato il vendor, magari usa driver diversi in base a questo

Matwolf · 2024-08-27T09:44:22+00:00

Mrtt ho provato ma anche cambiando solo l'ultima cifra cambia completamente la latenza

MMrtt · 2024-08-27T10:01:16+00:00

Matwolf
strano come funzionamento...
oltre a generare un MAC address virtuale diverso, guarda anche dentro alla VM creata... non vorrei fosse stato letto inizialmente il valore del MAC address e inserito in modo statico nella configurazione della rete
e mettendo il valore esatto dell'altra scheda di rete, forzi ad usare driver diversi, solo così sarebbe spiegato

Matwolf · 2024-08-27T10:21:50+00:00

Mrtt a ogni cambio Mac address mi va giù tutto e devo riavviare le interfacce per fare ripartire la pppoe. E ti confermo che prende il Mac nuovo.

Probabilmente è qualcosa sui bit del Mac address di quella specifica scheda che mi fa finire sull'instradamento più favorevole... Sarebbe bello capire cosa

Comunque escluderei il fatto che il sistema decida che driver usare sulla base del Mac address. Quello è un parametro che si può fissare in modo arbitrario.
I driver dovrebbero essere selezionati in base agli id dell'hardware (VID/PID)

Fraternal3954 · 2024-08-27T11:15:30+00:00

Matwolf e se provi ad usare un sito che genera Mac adrdress in base al vendor? Tipo questo: https://generate.plus/en/address/mac

Strano come comportamento comunque.

MMrtt · 2024-08-27T11:31:02+00:00

Matwolf
hai ragione, più che al MAC address sarebbe da vedere se fosse impostato qualcosa stile vecchio udev dove potevi linkare in modo statico un dispositivo
non so se su FreeBSD ci sia qualcosa di simile, sarebbe da approfondire
il ritardo per me è introdotto dal dispositivo, non dal provider

Matwolf · 2024-08-27T11:35:06+00:00

Mrtt la scheda di rete è sempre una VirtIO di Proxmox.
Non può usarmi dei driver diversi se la scheda è sempre quella...
E lo stesso comportamento lo vedo anche su altro hardware e su altre schede di rete.... quindi non vedo come possa dipendere dal dispositivo a questo punto...

MMrtt · 2024-08-27T13:36:42+00:00

Matwolf
prova a lanciare nel sistema guest un
pciconf -l | grep 0x02
a cavallo dei cambiamenti che fai e vedi se nella VM rimane tutto invariato

MiloZ · 2024-08-27T15:23:01+00:00

Matwolf
Attualmente hai Aruba con un ipv4 pubblico statico oppure privato dinamico?

Matwolf · 2024-08-27T15:43:11+00:00

Pubblico dinamico

MiloZ · 2024-08-27T15:52:04+00:00

Matwolf
Ah non credevo neppure si potesse più avere pubblico dinamico, come hai fatto ad ottenerlo?
La tua zona non è stata ancora migrata in CGNAT?

Comunque, cambiando IP a pari MAC address non ne hai trovato nessuno che ti abbassa la latenza allo stesso modo?
Al contrario, con il nuovo MAC "magico" anche cambiando IP diverse volte la latenza rimane sempre bassa?

Matwolf · 2024-08-27T16:35:16+00:00

MiloZ perché in realtà la mia linea è Pianeta Fibra, solo che è stata migrata sui nuovi kit Aruba, con BRAS Aruba e IP Aruba.

Per quanto riguarda la tua domanda ti confermo che effettivamente ho notato che cambiando indirizzo IP alcune classi hanno latenze più basse di altre. Ma dai test che ho fatto con quel Mac address "magico" ottengo sempre latenze più basse rispetto agli altri casi.

Un po' come se l'indirizzo IP incidesse in percentuale minore sulla latenza finale rispetto al Mac address

Mrtt
Tutto sempre identico (ma non avevo dubbi onestamente)

# pciconf -l | grep class=0x02
virtio_pci2@pci0:0:18:0:        class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001
virtio_pci4@pci0:0:23:0:        class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001
virtio_pci5@pci0:1:2:0:         class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001
virtio_pci3@pci0:0:19:0:        class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001

Matwolf · 2024-08-27T23:32:46+00:00

MiloZ Ho fatto qualche prova per cercare di avere dei dati confrontabili, anziché andare a sentimento guardando i traceroute ad occhio.

Per ogni MAC address testato a partire da quello "magico" (colorato di verde) con un +1 e un -2 sull'ultima cifra, ho segnato l'IP pubblico che mi veniva assegnato di volta in volta e i valori di latenza (ho fatto 3 test per ogni cambio MAC resettando la PPPoE.

Ho fatto anche una prova con un MAC random generato da Proxmox (quello rosso, diverso dagli altri).

Gli IP che mi venivano assegnati erano sempre diversi ad ogni riavvio della PPPoE.

Con LPH (minima, media e massima) intendo la Latenza al Primo Hop fuori dalla mia LAN (il BRAS di Aruba) copiata da un MTR (fatto con PingPlotter) appena dopo aver testato 100 pacchetti.

Mi sembra evidente che con il MAC address "verde" ci sia una latenza minima/media/massima più bassa rispetto agli altri casi

MiloZ · 2024-08-28T01:27:19+00:00

Matwolf
Comunque vedo che parliamo di differenze nell'ordine di 2ms.
Hai provato a pingare con il MAC "magico" diversi IP finali?

Perchè su Openstream c'è una sorta di load balancing per cui si esce al BRAS con latenza diversa a seconda dell'IP che si va a puntare.
ESEMPIO: verso 8.8.8.8 magari hai 6ms sul BRAS e 6ms sul server finale e verso 8.8.4.4 hai 8ms sul BRAS e 8ms sul server finale.

Quindi sarebbe interessante se con il MAC buono tu provassi a pingare più IP sempre in zona Milano, per capire se rimangono tutti a 11ms o alcuni tornano ad avere latenza più alta:

Esempio verso:

8.8.8.8
8.8.4.4
208.67.222.222
208.67.220.220
195.36.6.232
195.36.6.233
23.33.68.129
23.33.68.121

SSwen185 · 2024-08-28T06:04:33+00:00

Buongiorno avrei una domanda che vantaggi si hanno a virtualizzare? Chiedo perché ultimamente sto usando openwrt e sento sempre dí queste Vm

Fraternal3954 · 2024-08-28T07:35:53+00:00

Swen185
Vantaggi: condividi hardware con altre VMs quindi risparmi economicamente rispetto ad avere un hardware dedicato; facilità di backup; in alcuni casi è essenziale per dare connettività alla VMs

Svantaggi: quando hai problemi sull’ host anche non legato al router sei offline; aggiorni l’’host e riavvi per il nuovo kernel e sei offline; hai una VM che consuma troppe risorse per qualche motivo strano e può rallentarti tutta la rete; debug di errori rete molto complessi.