@cadusilva @lorimeyers tem um problema a mais: os bots de indexação "novatos" são bloqueados por vários sites, principalmente os que usam serviços como cloudflare. Se alguém pegasse o código fonte do Google Search como ele era lá no ano 2000 e tentasse rodar com exatamente o mesmo hardware que eles usavam, não iam conseguir replicar o serviço