@aurochs @fanta @randty para esto se utilizaba el ya comentado userAgent que indica que tipo de software o dispositivo es el que está accediendo.
El problema es que yo puedo poner lo que me de la gana y estos crawlers basura que no respetan nada estan falseando su userAgent diciendo que son Firefox o que son un telefono o cualquier cosa menos que son un crawlet de IA