Facebook posiblemente tendrá tus datos personales aunque no tengas cuenta allí. Puedes comprobarlo y solicitar que lo eliminen.
Los tienen porque muchas apps acceden a la agenda y obtienen datos de los contactos.
Nunca des acceso a la agenda si puedes evitarlo.