Non è magari il firewall attivo di pfsense che deve “elaborare” il pacchetto più hop entrata/uscita dallo switch e aggiungi anche l’interfacce usb che qualcosa fa perdere?
Considerazioni su latenze OPNsense + Proxmox
Fraternal3954 mmm... se fosse così però non troverei differenze mettendo la scheda USB in passthrough.... Invece se metto la scheda USB in passthrough la latenza mi cala...
Il firewall funziona allo stesso modo indipendentemente dalla modalità in cui collego la scheda
A mio avviso la scelta di utilizzare schede USB non è proprio delle migliori, a parte la latenza dovuta al protocollo anche il tipo di chipset disponibile non è ideale per essere utilizzato nel mondo linux / bsd.
Do per scontato che le schede 2.5g USB siano basate su chipset realtek (rtl8125?). E' già tanto che ti funzionino benino su proxmox. Escluderei a priori di fare il passthrough di quelle schede verso OPNSense, se cerchi su internet è pieno di post di persone che hanno auvuto problemi.
Che scheda di rete hai come integrata sul pc che stai usando? Hai a valle uno switch managed che ti gestisce le VLAN? potresti provare a fare una copia della VM di opnsense facendolo lavorare come "router on a stick", mettere tutto sull'interfaccia VMBR0 (il bridge della scheda integrata) taggando la WAN sulla vlan giusta e lasciando la lan sulla vlan 1. Così saresti limitato (presumo) ad 1gbit, ma almeno potresti verificare se hai differenze sostanziali di latenza sul primo hop.
Matwolf Il firewall funziona allo stesso modo indipendentemente dalla modalità in cui collego la scheda
Questo è uno dei tipici problemi nel virtualizzare il router: quando va fatto un debug di qualche problema ci sono tante variabili in gioco. Host magari non il top per hardware, configurazione host, schede aggiunte e magari non supportate al 100%, VM.
Fraternal3954 Questo è uno dei tipici problemi nel virtualizzare il router
Concordo pienamente, anche io uso OPNsense ma baremetal, hardware dedicato (mini pc con N100 e Intel I226-V). Zero problemi e prestazioni massime così.
- Modificato
mirko991 e invece avevi ragione tu...!!!
Ho seriamente provato a generare random una ventina di MAC address sull'interfaccia virtuale di Proxmox, ma non ero mai riuscito (pur vedendo delle variazioni) a raggiungere la latenza della scheda che avevo usato per fare i test "diretti".
Preso dallo sconforto, vedendo che su altro hardware addirittura in bare-metal avevo delle latenze ancora più alte, ho provato ad assegnare (tanto ero su un sistema separato) lo stesso mac address della scheda usb che usavo per fare le prove...
Ping di 11-12ms.
Non ho parole....
Ho dei mac address che mi portano la latenza al primo hop a 17-18ms e dei MAC address che invece vanno a 11-12ms.
Il tutto super ripetibile!
Mi sarebbe piaciuto usare un mac address diverso (per non dover appendere al chiodo la scheda alla quale ho rubato il mac address buono) ma non ho capito l'algoritmo con il quale decidono gli instradamenti per potermene costruire uno "buono" a mano 
Quindi per il momento ho assegnato il "mac address dalle uova d'oro" alla scheda virtuale di Proxmox che usa OPNsense per la PPPoE e ho scollegato la scheda fisica che lo usava. Funziona tutto egregiamente.
Pensavo fosse solo OpenFiber a fare questa cosa... ma invece a quanto pare anche FiberCop lo fa...
Comunque sono senza parole.... ho perso una valanga di tempo per questa cavolata pensando che il problema fosse chissà dove nello stack... invece era veramente un mac address più fortunato degli altri....
Matwolf
strano come funzionamento...
oltre a generare un MAC address virtuale diverso, guarda anche dentro alla VM creata... non vorrei fosse stato letto inizialmente il valore del MAC address e inserito in modo statico nella configurazione della rete
e mettendo il valore esatto dell'altra scheda di rete, forzi ad usare driver diversi, solo così sarebbe spiegato
- Modificato
Mrtt a ogni cambio Mac address mi va giù tutto e devo riavviare le interfacce per fare ripartire la pppoe. E ti confermo che prende il Mac nuovo.
Probabilmente è qualcosa sui bit del Mac address di quella specifica scheda che mi fa finire sull'instradamento più favorevole... Sarebbe bello capire cosa 
Comunque escluderei il fatto che il sistema decida che driver usare sulla base del Mac address. Quello è un parametro che si può fissare in modo arbitrario.
I driver dovrebbero essere selezionati in base agli id dell'hardware (VID/PID)
Matwolf e se provi ad usare un sito che genera Mac adrdress in base al vendor? Tipo questo: https://generate.plus/en/address/mac
Strano come comportamento comunque.
- Modificato
Matwolf
hai ragione, più che al MAC address sarebbe da vedere se fosse impostato qualcosa stile vecchio udev dove potevi linkare in modo statico un dispositivo
non so se su FreeBSD ci sia qualcosa di simile, sarebbe da approfondire
il ritardo per me è introdotto dal dispositivo, non dal provider
Pubblico dinamico
- Modificato
Matwolf
Ah non credevo neppure si potesse più avere pubblico dinamico, come hai fatto ad ottenerlo?
La tua zona non è stata ancora migrata in CGNAT?
Comunque, cambiando IP a pari MAC address non ne hai trovato nessuno che ti abbassa la latenza allo stesso modo?
Al contrario, con il nuovo MAC "magico" anche cambiando IP diverse volte la latenza rimane sempre bassa?
- Modificato
MiloZ perché in realtà la mia linea è Pianeta Fibra, solo che è stata migrata sui nuovi kit Aruba, con BRAS Aruba e IP Aruba.
Per quanto riguarda la tua domanda ti confermo che effettivamente ho notato che cambiando indirizzo IP alcune classi hanno latenze più basse di altre. Ma dai test che ho fatto con quel Mac address "magico" ottengo sempre latenze più basse rispetto agli altri casi.
Un po' come se l'indirizzo IP incidesse in percentuale minore sulla latenza finale rispetto al Mac address
Mrtt
Tutto sempre identico (ma non avevo dubbi onestamente)
# pciconf -l | grep class=0x02
virtio_pci2@pci0:0:18:0: class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001
virtio_pci4@pci0:0:23:0: class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001
virtio_pci5@pci0:1:2:0: class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001
virtio_pci3@pci0:0:19:0: class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001- Modificato
MiloZ Ho fatto qualche prova per cercare di avere dei dati confrontabili, anziché andare a sentimento guardando i traceroute ad occhio.
Per ogni MAC address testato a partire da quello "magico" (colorato di verde) con un +1 e un -2 sull'ultima cifra, ho segnato l'IP pubblico che mi veniva assegnato di volta in volta e i valori di latenza (ho fatto 3 test per ogni cambio MAC resettando la PPPoE.
Ho fatto anche una prova con un MAC random generato da Proxmox (quello rosso, diverso dagli altri).
Gli IP che mi venivano assegnati erano sempre diversi ad ogni riavvio della PPPoE.
Con LPH (minima, media e massima) intendo la Latenza al Primo Hop fuori dalla mia LAN (il BRAS di Aruba) copiata da un MTR (fatto con PingPlotter) appena dopo aver testato 100 pacchetti.
Mi sembra evidente che con il MAC address "verde" ci sia una latenza minima/media/massima più bassa rispetto agli altri casi
