やったこと
・PgTuneでTotal Memoryをいっぱいいっぱいに設定していたのを半分にして設定しなおし
・PostgresqlとRedisの通信をUnixSocketに変更
・mastodon-web.serviceにWEB_CONCURRENCY=1とMAX_THREADS=5を設定
・mastodon-sidekiq.serviceのDB_POOLとスレッド数を15に変更
・Sidekiqを毎日再起動するように設定
・swappinessを10に変更
こんな感じで現時点でメモリ1.2GBでswapなくなりました
遅いと感じたら適時変更しようと思う