これについても色々微妙なところがあるので私の考えを述べます。
まず、「本人が必ずしも本心を述べるとは限らない」という心構えが必要です。それは、「友達に見栄を張る」とか「教師や親に対して取り繕う」といった理由からの場合もありますし、また「本人が自分の本当の気持ちを心の中で言語化できていない」ということもあります。私も、大人になってから「あの時(数年前)無性にイライラしたのはこういう理由があったからだ」とやっと自分の心に気付けたという出来事があったりしましたし、人の心は複雑で、交流の浅い人には伏せておきたい部分もあり、また自分自身では自覚しないままでいる感情もあります。
なので、「別に迷惑でないよ」みたいな回答を得られたとしても、それが必ずしも全面的OKの意図だとは思わない方がいいです。
逆に、「疲れる」とか「迷惑」みたいな回答だったら即刻中止した方がいいです。