robots.txt に到達できる

なぜこれが効くのか

robots.txt はクローラーが最初に投げるリクエスト。存在しない場合、多くのクローラーは全面的に許可されていると見なす——動作はするが、サイトマップの宣言も、user-agent ごとのアクセス許可も伝えられなくなる。

直し方

どの助言が当てはまるかは監査の結果によります。ラベルはその助言が出る条件です。

• server-error

  robots.txt の背後にあるサーバーエラーを直す。クロール制限が一切なくても、200 と解析可能なファイルを返すべき。

• missing

  サイトルートに robots.txt を置く。最低限 `Sitemap:` を宣言し、AI エンジンにインデックスしてほしいパスを明示的に許可する。

あなたのサイトで試す

• AI クローラー許可

AI クローラーのアクセス の他のルール

• ページが 200 を返す
• robots.txt が AI クローラーを遮断していない
• sitemap.xml が存在し宣言されている
• llms.txt によるサイト案内
• 応答速度