@skadi se vc não pode bancar alto volume de tráfego, me parece bem razoável bloquear todos os IPs das IAs sem preocupação.
aliás, o robots.txt é o maior hoax de hospedagem de sites que existe - é um mero "acordo de cavalheiros" feito entre donos de sites, pq bloqueio mesmo só dá pra fazer via firewall ou proxy.
Embed Notice
HTML Code
Corresponding Notice
- Embed this notice
Mr. Pickles (dweller@bolha.us)'s status on Saturday, 09-Nov-2024 05:49:55 JSTMr. Pickles