Conversation

Notices

1. Embed this notice
   Julianoë (julianoe@mastodon.xyz)'s status on Monday, 13-Jan-2025 16:39:28 JST Julianoë

   Imaginons que je veuille économiser le plus de ressources possibles à mon serveur qui héberge une dizaine de sites et que je constate que près de 50% des requêtes sont le fait de bots. Je fais comment pour mitiger tout ça ? Vraiment pas envie de voir mes ressources mangées pour nourrir des outils de marketeux à la c** comme semrush et consorts. Il existe une liste de user-agent crawlers d'outils SEO dans le genre par exemple ? #sysadmin

   • Embed this notice
     Joachim (joachim@boitam.eu)'s status on Monday, 13-Jan-2025 16:39:25 JST Joachim

     in reply to

     @Julianoe j’avais vu passer des réglages custom pour bloquer des bots IA au niveau du serveur web (il y avait des configs Apache, Nginx…), c’est au niveau de l’User Agent et peut-être aussi de l’IP ? Je sais plus.
     Bref, tu avais le choix entre leur renvoyer une 403, accès interdit, une 100, reste encore un peu promis le contenu va arriver, ou les rediriger vers un fichier de 10 Go sans données. Il faut que je retrouve tout ça pour le mettre sur mes instances et mes sites

   • Embed this notice
     Julianoë (julianoe@mastodon.xyz)'s status on Monday, 13-Jan-2025 16:39:26 JST Julianoë

     in reply to

     Et oui j'ai passé un bout de soirée à bidouiller sur fail2ban et autres joyeusetés.. Mais vraiment le regex c'est une invention de Satan. Dès que je dois passer par cette syntaxe je finis par m'arracher les cheveux. Je passerais bien par une IA pour m'aider sur ce genre de truc pour le coup... mais trop peur qu'elle me sorte un truc que je ne comprenne pas et que je ne puisse pas vérifier 😁

   • Embed this notice
     Joachim (joachim@boitam.eu)'s status on Monday, 13-Jan-2025 22:44:22 JST Joachim

     in reply to

     • sebsauvage
     • Nel

     @Julianoe @Nel @sebsauvage Pas exactement mais ça a l’air nickel :)

   • Embed this notice
     Julianoë (julianoe@mastodon.xyz)'s status on Monday, 13-Jan-2025 22:44:23 JST Julianoë

     in reply to

     • sebsauvage
     • Joachim
     • Nel

     @Nel @sebsauvage ça peut totalement aider. J'étais passé à côté de ce post. Peut-être même à ça que tu faisais référence @joachim ?

   • Embed this notice
     Nel (nel@mamot.fr)'s status on Monday, 13-Jan-2025 22:44:24 JST Nel

     in reply to

     • sebsauvage

     Salut @Julianoe

     @sebsauvage a sorti cette liste, il y a quelques jours. Si ça peut aider.

     https://framapiaf.org/@sebsauvage/113780746738785246

   • Embed this notice
     Joachim (joachim@boitam.eu)'s status on Monday, 13-Jan-2025 23:26:42 JST Joachim

     in reply to

     • sebsauvage
     • Nel

     @Julianoe @Nel @sebsauvage Voilà un truc qui s’en approche : https://underlap.org/blocking-ai-web-crawlers