Enuuu
Per il router "di core" (termine improprio, ma è per capirci), ipotizzando che tu non voglia simulare il routing vero e proprio (quindi BGP, OSPF, RIR), potrebbe bastare anche quello che hai ora a casa. È sufficiente che ti consenta di configurare delle rotte statiche.
Il suo ruolo è quello di connettere il BRAS, cioè il gateway dei tuoi clienti alla tua rete IP.
Probabilmente il gateway stesso può anche assolvere a questa funzione, non avendoci mai avuto a che fare non ho idea di quanta flessibilità abbiano.
Il BRAS/BNG è sostanzialmente quell'apparato che consente agli utenti di registrarsi alla tua rete. In pratica le richieste di autenticazione dei tuoi utenti arrivano a lui, lui deve rispondergli dandogli tutto quello che serve per connettersi alla tua rete (indirizzi IP, DNS etc..).
Nel fare questo utilizza il RADIUS server che si occupa di conservare le credenziali utente, eventualmente le varie policy da applicare etc...
Un Mikrotik ben carrozzato dovrebbe assolvere egregiamente a questo lavoro (sono usati anche da alcuni ISP), ti rimando alle loro wiki (mai utilizzato uno):
https://help.mikrotik.com/docs/display/ROS/PPPoE
https://wiki.mikrotik.com/wiki/Manual:Interface/PPPoE
https://wiki.mikrotik.com/wiki/Manual:RADIUS_Client
https://help.mikrotik.com/docs/display/ROS/RADIUS
Per il RADIUS server in pratica è un software che fa quelle cose che dicevo sopra, se sei in cerca di soluzioni free puoi guardare a freeradius
Per il server DNS anche quello è un software, ci sono tante implementazioni free, tra cui unbound, bind, powerdns. Volendo per un setup semplice puoi anche usare dnsmasq e un file host, oppure anche adguard home o pi-hole.