Acceso de crawlers de IAMediaPeso 1
robots.txt es accesible
crawlability/robots-existsPor qué importa
robots.txt es la primera petición que hace un crawler. Si no existe, la mayoría asume que todo está permitido —funciona, pero pierdes la posibilidad de declarar un sitemap y de conceder acceso por user-agent.
Cómo corregirlo
Qué consejo aplica depende de lo que encontró la auditoría. La etiqueta es la condición que lo activa.
server-errorCorrige el error de servidor detrás de robots.txt. Aunque no restrinjas nada, debería devolver 200 y un archivo interpretable.
missingAñade robots.txt en la raíz del sitio. Como mínimo declara `Sitemap:` y permite explícitamente las rutas que quieres que indexen los motores de IA.
Comprueba tu propia página
Lanza una auditoría gratuita y mira cuáles de estas reglas ya cumple tu página.
Auditoría gratuita