Acceso de crawlers de IACríticaPeso 3
robots.txt no bloquea a los crawlers de IA
crawlability/ai-crawlers-allowedPor qué importa
Esta es la condición previa a todo lo demás. Si bloqueas a los crawlers de IA, tu contenido no llega ni a los datos de entrenamiento ni a la recuperación en vivo, y cualquier otra optimización deja de importar. Estos bloqueos suelen venir de una plantilla por defecto del CDN que el responsable del sitio nunca eligió.
Cómo corregirlo
Qué consejo aplica depende de lo que encontró la auditoría. La etiqueta es la condición que lo activa.
blockedPermite explícitamente a estos user-agents las rutas que quieres indexar. Si el bloqueo viene de la «protección contra crawlers de IA» que traen por defecto Cloudflare, Akamai y similares, hay que desactivarlo en el panel del CDN.
Comprueba tu propia página
Lanza una auditoría gratuita y mira cuáles de estas reglas ya cumple tu página.
Auditoría gratuita