AI 爬虫可达性中权重 1
sitemap.xml 可用并已声明
crawlability/sitemap-present为什么这条重要
sitemap 让爬虫无需靠站内链接逐层发现页面,对层级深或入站链接少的页面尤其重要。
怎么修
具体适用哪条建议,取决于评估的实际发现。标签是触发该建议的条件。
missing生成 sitemap.xml 并在 robots.txt 中用 `Sitemap: https://…/sitemap.xml` 声明。
undeclared在 robots.txt 增加一行 `Sitemap: {url}`,让爬虫无需猜测路径。
检查你自己的页面
跑一次免费评估,看看这些规则里你的页面已经满足了哪些。
免费评估一次