Ricordo che anni fa avevo risolto questa cosa dalle impostazioni Privacy di Google: in pratica, se non autorizzi Google a scambiare i dati ricavati da Gmail con gli altri servizi, Google non potrà usare nomi/indirizzi delle persone per aggiungerli automaticamente a Contacts (che di fatto è un servizio a sé stante).
Non so se sia l'unico modo per farlo, ma aveva funzionato.
Essendo passato molto tempo, non ricordo esattamente dove avevo cliccato; anzi, molto probabilmente nel frattempo sarà pure cambiata l'interfaccia delle opzioni. Comunque, da quel momento in poi avevo effettivamente impedito a Google di rastrellare indirizzi. Ti consiglio quindi di andare anche nella pagina delle impostazioni Privacy (di Google, non di Gmail) e iniziare a disabilitare un po' di roba.
