Beh, è normale che funzioni così, lo alleni con la tua voce per permettergli di fornirti risultati personali, non per discriminarne l'uso (forse si può inibire l'uso agli ospiti e quindi risponde solo a voci conosciute, ma non trovo l'impostazione, sempre che esista). Tra l'altro se collegati allo stesso account o alla stessa raccolta famiglia, qualsiasi dispositivo potrà riconoscerti e rispondere con i tuoi risultati personali.
Se imposti una voce personalizzata, potrai notare la cosa, se lo triggheri tu, risponde con la voce che hai scelto, se lo fa un terzo, risponderà con la voce standard.
La soluzione è, o ridurne la sensibilità a tutti, quindi risponderà solo quello a cui sei vicino, perché banalmente gli altri neanche ti sentiranno, oppure inserirli tutti nella stessa raccolta famiglia, quindi impostando correttamente ognuno nella casa, con relativa divisione in stanze. In quel caso, anche se se ne trigghera più di uno, risponderà effettivamente solo quello più vicino a te perché sanno di essere nello stesso ambiente o comunque ambienti vicini (questa cosa la noti col tuo smartphone, se sei vicino al Google Nest, risponde questo e non lo smartphone, anche se triggherati entrambi).
Con gli ultimi il problema si riduce ulteriormente, perché hanno inserito anche un sensore di prossimità.