AI 爬虫可达性中权重 1
robots.txt 可访问
crawlability/robots-exists为什么这条重要
robots.txt 是爬虫的第一个请求。缺失时多数爬虫按“全部允许”处理，尚可工作，但你也失去了声明 sitemap 和分 UA 控制的能力。
怎么修
具体适用哪条建议，取决于评估的实际发现。标签是触发该建议的条件。
server-error修复 robots.txt 的服务端错误。即使没有抓取限制，也应返回 200 和一个可解析的文件。
missing在站点根目录添加 robots.txt，至少声明 `Sitemap:` 地址，并显式放行需要被 AI 引擎收录的路径。
检查你自己的页面
跑一次免费评估，看看这些规则里你的页面已经满足了哪些。
免费评估一次