Sì, il cosiddetto "bufferbloat" è un incremento della latenza dovuto a buffer di generose dimensioni, proprio perché i pacchetti senza una gestione delle priorità rimangono accodati dietro a molti altri in attesa di essere trasmessi. Il comportamento del ping sembra compatibile con il buffering che immagino il client di Netflix faccia - scaricherà x secondi di video e poi attenderà y secondi prima di richiedere un nuovo buffer (se guardi un grafico del traffico vedi una serie a "denti di sega").
La soluzione è poprio quella di utilizzare un sistema di QoS con prioritizzazione del traffico - puoi usare il Fritz come modem (anche se IIRC non ha una vera impostazione "bridge"), ma devi poi scegliere un router con capacità di QoS adeguate e configurarle correttamente - perché i pacchetti devono essere identificati e assegnati alla priorità/coda corretta.
