Hardware Firewall OpnSense - baremetal o VM?

Pwodtbeb · 12 giu 2023

Attualmente ho un Fujitsu S920 con installato OpnSense baremetal. Ho una scheda di rete intel dual port gigabit e tutto funziona alla perfezione. Per ora ho alcuni pacchetti installati tra cui Zenarmor (Sensei) e una FTTC talmente scarsa che l'hardware attuale volendo reggerebbe anche IDS/IPS.

A breve (si spera brevissimo) installerò la FTTH (1000/300 molto probabilmente) e vorrei adeguare l'hardware del mio firewall magari anche rendendolo leggermente future-proof.

Ho anche un Thinkcentre m910q (i3-7100T) con Home Assistant (HAOS), Frigate e Google Coral PCI per la domotica e NVR.

Finita questa prefazione vengo al punto.. stavo considerando varie opzioni per virtualizzare tutto quanto sullo stesso pc:

Mini PC Topton: Intel N100 con 4 ethernet 2.5Gbit
stesso minipc ma con il Celeron N5105

Sono a conoscenza della limitazione di FreeBSD sulla PPPOE single core, entrambi i processori dovrebbero reggere una connessione gigabit con Zenarmor e forse IPS/IDS (ci sono testimonianze sul forum di OpnSense).

Qualcuno ha esperienza con OpnSense virtualizzato? Leggo pareri molto discordanti tra baremetal e installazione in VM. Inoltre non sono troppo sicuro che installare anche Home Assistant e Frigate in una VM sullo stesso pc sia una scelta saggia.. l'idea sarebbe installare tutto in varie VM su Proxmox, ma non vorrei che l'hardware sia troppo "tirato"

Grazie a chi vorrà aiutarmi in questa decisione

Jjimmi · 12 giu 2023

Io ho il Celeron N5105, i226-V, con pfSense.
Nessun problema con PPPOE, questo lo speedtest:

https://www.speedtest.net/result/14794566893

Secondo me come rapporto qualità prezzo, il topton vince!

Utilizzo CPU durante speedtest:

Temperature:

mark129 · 12 giu 2023

Pwodtbeb Qualcuno ha esperienza con OpnSense virtualizzato?

Prova a chiedere a @walt

walt · 12 giu 2023

Pwodtbeb in questo periodo sto sperimentando proprio soluzioni soft router (RouterOS, OpenWrt ed appunto anche OPNsense) in VM ProxMox su una linea FTTH 1000/30 in PPPoE e con hardware dotato di CPU x86 dalle prestazioni (sia in single sia in multi core) analoghe all'N100: non utilizzo, per ora, funzionalità IDS/IPS & co. ma al netto di ciò confermo - come già segnalato da @jimmi - che l'occupazione CPU in fase di trasferimento dati con valori di picco pari al profilo nominale è modesta anche in OPNsense.

Pwodtbeb · 13 giu 2023

jimmi Grazie per il riscontro

jimmi Secondo me come rapporto qualità prezzo, il topton vince!

Proprio per quello li sto considerando

walt Ottimo, grazie. Hai altre VM "pesanti" sulla CPU su proxmox? Sono molto indeciso sull'installazione di Home Assistant, ma soprattutto Frigate che usa da solo un buon 20% di CPU sul mio attuale i3-7100T. Non vorrei compromettere troppo le prestazioni di tutto

walt · 13 giu 2023

Pwodtbeb Hai altre VM "pesanti" sulla CPU su proxmox?

In prospettiva ho intenzione di ribaltare sul nuovo dispositivo la ricca collezione di LXC/VM in esecuzione fino ad oggi sul server "storico" ma al momento sono presenti soltanto un LXC e due VM di prova (di cui una con OPNsense, appunto) ed il carico complessivo è minimo, in ogni caso come accennavo in precedenza l'occupazione CPU durante un download a banda quasi piena è modesta (in rapporto alle prestazioni di picco, era inteso).

Screen di htop (sotto ProxMox) durante l'avvio del download:

Anche considerando il caso limite/improbabile di trasferimento dati costante a banda piena e contestuale utilizzo costante a pieno regime dei due software da te citati a quanto si arriverebbe di occupazione CPU? 80, 90%?
Fino al 100% - facciamo 99% per pietà - io non vedo "problemi", la CPU è costruita per essere impegnata

Dalla via che al momento stai utilizzando una CPU con prestazioni di poco inferiori a quelle della CPU presente nel prodotto di tuo interesse, sei nelle condizioni ideali per opportune prove su strada: appena disponibile la linea FTTH, io predisporrei l'ambiente di "collaudo" e con opportuna accuratezza prenderei in esame i risultati di vari scenari d'uso, dopodiché sceglierei la soluzione più idonea.

auanasgheps · 13 giu 2023

Pwodtbeb Inoltre non sono troppo sicuro che installare anche Home Assistant e Frigate in una VM sullo stesso pc sia una scelta saggia..

Sono di questa idea. Nonostante l'hardware possa reggere Home Assistant, Frigate e altra roba a iosa, soprattutto se carrozzato con un po' di RAM, penso sia meglio mantenere il networking "base" isolato da tutti gli altri servizi, e di fatto sfruttare la virtualizzazione solo per la comodità dei backup/snapshot.

Su questo host personalmente metterei solo OPNsense (con i tweak per usare più CPU), e al massimo una VM Alpine Linux con il minimo essenziale in base alle esigenze, ad esempio Wireguard/Tailscale o il controller di Ubiquiti o chi per esso, basta.
Avevo valutato Home Assistant, ma credo di andarmi a complicare troppo la vita.

Anche io sto valutando il tuo stesso passaggio, ormai da mesi, messo in pausa solo per mancanza di tempo.

La domanda che rigiro agli esperti è: conviene usare a pieno le 2.5 GbE di questi MiniPC, o affidarsi a uno switch esterno? Non ho idea di quanto impatti il routing di svariate porte in software. Probabilmente prenderei comunque uno switch 2.5, ma è comunque una buona info da sapere. Altrimenti si fa il passtrough di due fisiche (WAN e LAN) e ciaone.

PS: Secondo me quel Topton non dissipa molto bene perché è piccolino, io avevo valutato un modello con case più grande che pare dissipare un po' meglio (era con N5105 ma non cambia molto, sicuramente lo hanno aggiornato)

[cancellato] · 13 giu 2023

auanasgheps La domanda che rigiro agli esperti è: conviene usare a pieno le 2.5 GbE di questi MiniPC, o affidarsi a uno switch esterno?

Dalla documentazione di pfSense:

With an internal type bridge, ports on the firewall are linked such that they behave similar to switch ports, though with the ability to filter traffic on the ports or bridge and with much lower performance than a switch.

Se c'è da filtrare/ispezionare il traffico che passa sulle porte bene, altrimenti è meglio non farlo passare da pf/OPNSense e farlo gestire da uno switch.

Pwodtbeb · 13 giu 2023

walt
Grazie delle preziose informazioni

walt Dalla via che al momento stai utilizzando una CPU con prestazioni di poco inferiori a quelle della CPU presente nel prodotto di tuo interesse, sei nelle condizioni ideali per opportune prove su strada: appena disponibile la linea FTTH, io predisporrei l'ambiente di "collaudo" e con opportuna accuratezza prenderei in esame i risultati di vari scenari d'uso, dopodiché sceglierei la soluzione più idonea.

Esattamente, appena potrò attivare la FTTH farò un test con l'hardware in mio possesso.

auanasgheps Tenderei a concordare con la tua idea di separazione della parte routing di base dal resto dei servizi, mi stuzzicava la possibilità di riunire tutto nello stesso dispositivo.

auanasgheps PS: Secondo me quel Topton non dissipa molto bene perché è piccolino, io avevo valutato un modello con case più grande che pare dissipare un po' meglio (era con N5105 ma non cambia molto, sicuramente lo hanno aggiornato)

Ho recentemente visto una recensione della versione aggiornata con il N100 e pare che la qualità costruttiva delle unità (anche le più piccole) sia migliorata notevolmente e che la dissipazione del calore non sia più un problema. In ogni caso una ventola esterna oppure un repasting della cpu li posso eseguire senza problemi.

Diciamo che a questo punto forse non vale la pena spendere di più per il modello con l'N100 e restare sul Celeron N5105 e rinunciare all'idea di installare tutto sullo stesso minipc..

auanasgheps · 13 giu 2023

Pwodtbeb mi stuzzicava la possibilità di riunire tutto nello stesso dispositivo.

Anche io vorrei eliminare il RPi 4 che fa girare Home Assistant, ma a questo punto mi sa che la scelta più saggia è non accentrare troppo su un dispositivo così critico come un router/firewall, qualunque sia la piattaforma su cui gira. Magari si può usare come HW per fare qualche test.

Pwodtbeb Ho recentemente visto una recensione della versione aggiornata con il N100

Se parli del video di STH, hanno recensito la versione con lo chassis più grande, che preferisco. Questo è il link di STH ripulito dal referral. Questa versione ha ottimi risultati di temperature

Pwodtbeb Diciamo che a questo punto forse non vale la pena spendere di più per il modello con l'N100 e restare sul Celeron N5105 e rinunciare all'idea di installare tutto sullo stesso minipc..

Se i prezzi sono simili, io andrei di N100. Le performance single core sono nettamente migliori, che tornerà utile con 2.5 Gbps in PPoE.
Sia chiaro, il N5105 li regge - sono riuscito ad avere una conferma sul forum - ma il carico è elevatissimo.

EDIT: Sono delle stime, ho recuperato il post che è qui. Il test è su un N6005, 2.5 PPoE ma bare metal.

[cancellato] · 14 giu 2023

auanasgheps Le performance single core sono nettamente migliori, che tornerà utile con 2.5 Gbps in PPoE.

Ripeto che è possibile usare la PPPoE con più core con pf/OPNSense. Va impostato:

net.isr.dispatch=deferred

In System Tunables, e opzionalmente si possono modificare i valori di net.isr.maxthreads e net.isr.numthreads

Pwodtbeb · 14 giu 2023

auanasgheps Alla fine penso che installerò OPNsense virtualizzato giusto per la comodità dei backup e in caso di VM leggere (e non critiche) da eventualmente aggiungere in futuro. Per Home Assistant + Frigate li "traslocherò" in delle VM sullo stesso thinkcentre con l'i3-7100T su cui sono installati ora (attualmente ho HAOS).

auanasgheps Se parli del video di STH, hanno recensito la versione con lo chassis più grande, che preferisco. Questo è il link di STH ripulito dal referral. Questa versione ha ottimi risultati di temperature

Si intendevo quello, ma la differenza è di quasi 100€ per il case "maggiorato" e non so se valga veramente la pena..

Sarei orientato sul Topton "piccolo" con l'N100 ma prima però come suggerito vorrei effettuare dei test appena attiverò la FTTH.

Grazie a tutti per i contributi

auanasgheps · 14 giu 2023

[cancellato] Lo so, ho letto molti documenti a riguardo, da quello che capisco solo nell'ultimo anno (circa) sono migliorati i risultati, se cerchi le discussioni di un paio di anni fa si ottenevano scarsi risultati.
In ogni caso non sembra così ottimizzata come su OpenWRT, ma è un altro discorso.

Inoltre, una PPPoE da 2.5 Gbps para-virtualizzata comunque non è poca roba.

Pwodtbeb Alla fine penso che installerò OPNsense virtualizzato giusto per la comodità dei backup e in caso di VM leggere (e non critiche) da eventualmente aggiungere in futuro. Per Home Assistant + Frigate li "traslocherò" in delle VM sullo stesso thinkcentre con l'i3-7100T su cui sono installati ora (attualmente ho HAOS).

Mi sembra un ottimo piano!
Senza andare troppo offtopic, cosa usi/userai per il WiFI?
Io al momento sono con un Asus AC86U che vorrei eliminare, quindi dovrei fare un completo cambio hardware.

Pwodtbeb Sarei orientato sul Topton "piccolo" con l'N100 ma prima però come suggerito vorrei effettuare dei test appena attiverò la FTTH.

Allora attendo i tuoi test di temperature

[cancellato] · 14 giu 2023

Pwodtbeb Alla fine penso che installerò OPNsense virtualizzato giusto per la comodità dei backup

Non so con OPNSense, ma con pfSense basta salvare il file di configuazione. Quando mi si è bruciato un pfSense causa fulmine, mi è bastato reinstallarlo e ricaricare il file di configurazione. Essenzialmente sono da gestire come appliance - non fai il backup di uno switch, salvi le configurazioni.

mik_online · 14 giu 2023

[cancellato] Con OPNSense puoi fare i backup direttamente su GDrive https://docs.opnsense.org/manual/how-tos/cloud_backup.html

Pwodtbeb · 14 giu 2023

auanasgheps cosa usi/userai per il WiFI?

Ho 2 AP Netgear POE, un WAX610 e un WAX214. Li avevo trovati a prezzi molto interessanti e tutto sommato mi trovo piuttosto bene.

auanasgheps Allora attendo i tuoi test di temperature

Certo!

[cancellato]

mik_online backup direttamente su GDrive

Attualmente faccio proprio così, ma un backup di tutta la VM sarebbe più semplice (anche se forse un po' overkill)

walt · 14 giu 2023

Pwodtbeb un backup di tutta la VM sarebbe più semplice

Tra le sperimentazioni in corso d'opera ho anche OpenWrt in LXC: la gioiosa summa del RaaS (Router as a Service)

Goliardia geek a parte, a mio avviso la scelta del proprio setting operativo è correlata allo scenario d'uso: in ambito domestico - ovvero in un contesto per definizione non critico - io nel mio piccolo prediligo soluzioni integrate, demandando specifiche best practice all'ambito professionale.

auanasgheps · 14 giu 2023

walt io nel mio piccolo prediligo soluzioni integrate,

Intendi l'uso di un router commerciale? Appena vogliamo superare il gigabit diventano estremamente limitate.
O prendi il mio Asus AC86U, ottimo router consumer (ha fatto la sua età, ma l'ho comprato 5 anni fa) ha dei bug a caso che non possono essere risolti. O quando vengono scoperte falle gigantesche di sicurezza che non vengono patchate.

walt · 14 giu 2023

auanasgheps Intendi l'uso di un router commerciale?

Sulla scia della discussione, mi riferisco a soluzioni hardware - preassemblate o meno - su cui eseguire ambienti operativi che integrino le funzionalità desiderate: io preferisco - ed al momento utilizzo - un unico dispositivo¹ preposto a fornirmi tutti i servizi di cui necessito, e ritengo che in ambito domestico sia una soluzione preferibile.

L'ammissione implicita è la disponibilità ad accettare il rischio - più o meno probabile - del single point of failure ovvero subire un fermo macchine totale nel caso di guasto hardware..ma un router commerciale muletto non si nega a nessuno...e per i dati esistono i backup.

Senza nulla togliere a chi sceglie di applicare anche in ambito domestico ogni best practice di ordine professionale e sente le farfalle allo stomaco quando apre il suo rack di rete

¹ canonico server assemblato...anche se motivato dalla mia indole minimalistica sto valutando dispositivi come quelli di cui si parla in questa discussione, e tra l'altro nel frattempo sto smanettando su un Banana Pi BPI-R3

auanasgheps · 14 giu 2023

walt Ok, avevo interpretato male la tua risposta.

Quindi, se capisco bene, per questo scenario (non aziendale) sei dell'idea "metti tutti i servizi su un solo server finché li regge", quindi in questo caso router/firewall, Home Assistant e servizi annessi?

walt ma un router commerciale muletto non si nega a nessuno...e per i dati esistono i backup.

Quella è l'idea di emergenza. Dotarmi di un router scrauso, che magari supporta openwrt, con una config di base pronta a poter risalire in caso di qualunque problema all router "custom".