AI クローラーのアクセス重大重み 3
robots.txt が AI クローラーを遮断していない
crawlability/ai-crawlers-allowedなぜこれが効くのか
これが他のすべての前提になる。AI クローラーを遮断すると、コンテンツは学習データにも実時間取得にも届かず、他の最適化がすべて無意味になる。この遮断は、サイト運営者が選んだ覚えのない CDN の既定テンプレートに由来することが多い。
直し方
どの助言が当てはまるかは監査の結果によります。ラベルはその助言が出る条件です。
blockedこれらの user-agent に対して、インデックスしてほしいパスを明示的に許可する。遮断が CDN の「AI クローラー保護」の既定（Cloudflare、Akamai など）から来ている場合は、CDN の管理画面で切る必要がある。
自分のページを調べる
無料診断を実行して、これらのルールのうちどれをすでに満たしているか確認できます。
無料で診断する