AI に引用されるために：最も見落とされる三つの技術的詳細
クローラーが見るのは描画後のページではなく初期 HTML です。この一つの違いが、引用されるかどうかを決めます。
生成エンジンは検索エンジンではありません。検索エンジンは青いリンクを十件返し、どれを開くかは人間が決めます。生成エンジンは答えを返します。あなたのサイトはその中で引用されるか、存在しないかのどちらかです。
最も見落とされる三つ
1. robots.txt で AI クローラーを許可していない
ほとんどの robots.txt は何年も前に、Googlebot だけを考えて書かれたものです。GPTBot、ClaudeBot、PerplexityBot はいずれも robots.txt に従います。明示的に許可しなければ、来ません。
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
2. 重要な内容がクライアントサイドで描画されている
クローラーが見るのは初期 HTML です。本文が useEffect の fetch で取得されて DOM に挿入されるなら、彼らが見るのは空の殻です。ここでのサーバーサイドレンダリングは性能最適化ではなく、そもそも見えるための前提条件です。
3. llms.txt がない
比較的新しい慣習です。サイトのルートに llms.txt を置き、引用してほしいページを Markdown で列挙します。必須ではありませんが、コストはほとんどかからず、「これが自分の本体です」と明確に伝えられます。
確認のしかた
最も直接的な方法は、自分のサイトをクローラーのつもりで訪れることです。
curl -A "GPTBot" https://your-site.com/ | head -50
返ってきたものを見てください。<script> タグの山と空の <div id="root"> だけなら、それが問題です。