実装ごとに差異もあるので、Mastodonの場合、ということでお話しますが、
こちらからのフォローが解除されるパターンとしては次のものがあります。
・こちらから自分でフォロー解除した
・こちらから相手をブロックした
・こちらから相手サーバーブロックした
・フォローリストを上書きインポートした際、リストに含まれていなかった
・相手からフォロワー解除された
・相手からブロックされた
・相手からサーバーブロックされた
・相手がアカウントを削除
・相手の引っ越しでフォロワー解除された(フォロー先が新アカウントへ変更される)
・こちらの管理者が相手サーバをブロックした際、相手のアカウントがこちらのサーバから停止された
・こちらの管理者によるコマンド操作で相手アカウントのフォロワーを一斉解除
・こちらの管理者によるコマンド操作であなたのアカウントのフォローリセットが実行された
・こちらの管理者によるコマンド操作で、相手のサーバとの関係を削除
・サーバ間の不一致解消のための同期システムによって、相手の認識しているフォロワーを相手サーバから取得し、こちらがフォローしていると認識しているフォローと比較し、一致していないものが検出されたため、フォロー状態を解除した