Difficilmente guadagnerai qualcosa di percettibile in latenza.
Guadagni qualche microsecondo (10-3 ms) all'interno del router per non dover attraversare il NAS (e quindi riscrivere gli header dei pacchetti), ma direi che è molto trascurabile.
Esiste qualche possibilità che il routing verso una data destinazione sia un po' diverso tra i due protocolli (IPv4 e IPv6), per scelta e accordi dei provider.
Potrebbe essere che talvolta, verso un determinato server hai più latenza con IPv4 e meno con IPv6, o più banda effettiva. Come può succedere esattamente il contrario verso un altro server.
Il vantaggio (rischio se non configurato bene) principale di IPv6 sta nel rendere (ipoteticamente) tutti dispositivi della rete locale raggiungibili su tutte le porte TCP/UDP.
Ne possono trarre vantaggio quelle applicazioni (tra cui giochi) che sfruttano molto le connessioni P2P (direttamente tra gli utenti, senza passare da server centrali).
Anche se queste connessioni P2P funzionano molto bene pure dietro NAT (sempre che sia singolo e non doppio o triplo), a patto di sfruttare un server terzo (protocollo STUN o simili) che aiuti ad instaurare la connessione (necessario solo nella fase iniziale).
Chiaramente i vantaggi sul giochi che sfruttano connessioni P2P potresti vederli solo con utenti che hanno anch'essi IPv6 (4% delle connessioni internet, secondo una stima a mio parere ottimistica).
Mia personale opinione: a questo stadio dello sviluppo, se sei interessato ad IPv6 per farti una cultura in reti, o ospiti svariati servizi nella tua rete locale che vuoi rendere raggiungibili all'esterno, e ti piace l'idea di poter avere IP dedicati per i vari servizi (senza dover quindi ricorrere a reverse-proxy o altre toppe), allora ha un senso perderci tempo. Se lo scopo è solo migliorare le performance dei vari giochi, rischi di non guadagnarci nulla. Insomma, una volta che ti sei accertato di avere una connessione dual-stack funzionante (andando qui ad esempio), sei abbastanza apposto. Le varie applicazioni sono libere di usare IPv6 o IPv4 a loro piacimento, e se configurate per farlo sceglieranno il protocollo migliore per te.