Conversation

Notices

1. Embed this notice
   Skadi (skadi@bolha.us)'s status on Friday, 08-Nov-2024 21:48:03 JST Skadi

   Lembra quando perguntei aqui se os crawlers IA respeitavam ou não a regra de bloqueio no arquivo robots.txt? Então, acabei de ver uma discussão na bolha tech francesa no site muskiano e falaram que não.

   Basicamente o site de alguém teve um pico enorme de acessos, ele viu que vinha do Claude IA, bloqueou no robots.txt, pareceu resolver em um primeiro momento, mas depois voltou com tudo. Outras pessoas nos comentários disseram que resolvia, e outras não, que alguns crawlers respeitam, outros não.

   • Embed this notice
     Mr. Pickles (dweller@bolha.us)'s status on Saturday, 09-Nov-2024 05:49:55 JST Mr. Pickles

     in reply to

     @skadi se vc não pode bancar alto volume de tráfego, me parece bem razoável bloquear todos os IPs das IAs sem preocupação.
     aliás, o robots.txt é o maior hoax de hospedagem de sites que existe - é um mero "acordo de cavalheiros" feito entre donos de sites, pq bloqueio mesmo só dá pra fazer via firewall ou proxy.