Personalmente, si hablando con alguien me diera cuenta de que lleva eso puesto, cortaría la conversación y me iría.
El problema es que probablemente no me daría cuenta.
A mí no es que me parezca molesto. Es que me parece totalmente intolerable, incluso si avisa o sólo lo usa con autorización.