調べる道具のほうが弾かれている場合
コマンドラインの道具で確かめると、GPTBotでもGooglebotでも、ふつうのブラウザのUser-Agentを付けても403が返るサイトがあります。これはCDNのbot対策が「通信の癖」を弾いているだけで、AIクローラーを拒否しているわけではありません。通常のHTTPクライアントで測り直すと、全部200で同じ内容が返ってきます。
推測ではなく実測
User-Agentを変えて実際にアクセスし、どのAIクローラーが読めているかを1社ずつ確かめます。
学習用と引用用を分ける
GPTBotとOAI-SearchBotは役割が違います。まとめて拒否する前に切り分けます。
直す順番まで出す
効果が大きく手間が小さい順に並べてお渡しします。全部やる必要はありません。
診断は無料
公開URLだけで診断できます。ログイン領域や管理画面にはアクセスしません。
SEO × LLMO
SEOは「順位」、LLMOは「引用されるか」。
どちらか一方ではありません。土台は共通していて、SEOで整えたものはLLMOにもそのまま効きます。違うのは、AIが何を見て答えを作るかです。
これまで（SEO）
検索結果の順位
Googleの検索結果で上に出ることが目的でした。利用者は一覧を見て、自分でページを選んで読みます。順位が上がれば、クリックされる回数が増えます。
これから（LLMO / AIO）
AIの答えに載るか
AIは一覧を出さず、答えを1つ作ります。その答えの材料に選ばれなければ、存在しないのと同じです。順位という概念がなく、引用されるか・されないかの二択になります。
共通しているのは、機械に渡す中身です。
robots.txt、サイトマップ、構造化データ、見出しの付け方、本文の書き方。これらはGoogleにもAIにも同じように効きます。LLMO対策と称して特別なことを売る会社もありますが、大半は「SEOでやるべきだったのに、やっていなかったこと」です。
- robots.txt でクローラーごとの方針を決める
- サイトマップの更新日を、実際の更新日にする
- 構造化データ（JSON-LD）で、誰が何をしているかを機械に渡す
- 見出しの直後に、結論を1〜2文で書く
- 「◯◯とは、〜です」の定義文を置く
MISREADING
「AIにブロックされている」の多くは、測り方の問題です。
診断で最初に見るのがここです。そして、ここで結論を間違えている例をよく見ます。
本当にUser-Agentで拒否している場合
一方、GPTBotとClaudeBotだけが403で、Googlebotは200というサイトもあります。こちらは本物の拒否です。サーバーの設定やプラグインの既定で、気づかないうちにそうなっていることがあります。両方の測り方で並べて比べないと、この2つは見分けられません。
どちらも当社が実際のサイトで測って確認した挙動です。検査ツールの出力をそのまま結論にせず、手元で再現してから報告することを社内の決まりにしています。
CRAWLERS
AIクローラーは、一つではありません。
役割が違うので、まとめて拒否すると「学習は防げたが、AI検索にも出なくなった」ということが起きます。
| クローラー | 何のために読むか | 拒否したときに起きること |
|---|---|---|
| GPTBot | OpenAIのモデル学習 | 学習には使われない。ChatGPTの検索での引用は残る |
| OAI-SearchBot | ChatGPTが検索して答えるとき | ChatGPTの回答に引用されなくなる |
| ClaudeBot | Anthropicの収集 | Claudeがサイトを読めなくなる |
| PerplexityBot | Perplexityの検索 | Perplexityの回答に出なくなる |
| CCBot | Common Crawl（多数のAIが利用） | 広範囲のAIの材料から外れる |
| Googlebot / Google-Extended | 検索 / AI機能への利用 | Google-Extendedのみ拒否すればAI Overviewの材料から外せる |
どれを通してどれを止めるかは、会社の方針次第です。当社は「こうすべき」と決めつけず、いまどうなっているかを実測してお見せしたうえで、決めていただく形にしています。
WHAT WE DO
診断で見ているところ
公開されているURLだけを使います。ログイン領域や管理画面にはアクセスせず、負荷をかける調査も行いません。
AIクローラーの到達確認
主要なクローラーが実際に読めているかを、User-Agentを変えて測ります。403の原因が拒否なのか測り方なのかまで切り分けます。
robots.txt と llms.txt
設置の有無、サイトマップの明記、クローラーごとの方針。llms.txtはAIにサイトの要点を渡すファイルです。
サイトマップの中身
URL数、更新日が実際の更新日になっているか、別ホストのURLが混ざっていないか、中身の無いページが載っていないか。
構造化データ（JSON-LD）
Organization、Person、Service、FAQPageなど、業種に合う型が入っているか。AIが「何の会社か」を読み取る根拠になります。
本文の書き方
見出しの直後に結論があるか、定義文があるか、質問と答えの形になっているか。引用されやすさに直接効きます。
AI経由の流入の計測
AIクローラーの訪問はサーバーログにしか残りません。人がAIの回答から来た分と分けて数える仕組みをご用意します。
FLOW
進め方
URLを送る
公開されているサイトのURLをお知らせください。事前の資料は不要です。
実測して報告
上の項目を測り、結果と直す順番をまとめてお渡しします。ここまでは無料です。
範囲を決める
自社でやる分と、当社にお任せいただく分を分けます。全部やる必要はありません。
直して、測り続ける
改修後にもう一度測り、AI経由の流入を継続して記録します。
BUY & CUSTOMIZE
買って、自社のやり方に合わせる。
ゼロから作らなくても済む場合があります。Kurage App Store の業務システムはソースコード同梱のMITライセンスなので、購入後にご自身で改変できます。その時間が取れないときは、当社が代わりに変更します。
購入して、触る
Kurage App Store で購入します。商品ページのデモで確認してからで結構です。
変えたいところを送る
「この項目を足したい」「この帳票を社内様式に」など、箇条書きで構いません。
可否と見積りを回答
1回の範囲に収まるか、複数回に分けるかをお伝えします。範囲外なら正直にそう言います。
実装してデモを出す
実際に触って確認していただきます。この時点ではまだお支払いは発生しません。
先に払うのではなく、動くものを見てから決めます。
デモにご納得いただいてから請求書を発行します。カスタマイズは1回110,000円（税込・税別100,000円）。変更後のソースコード一式をお渡しするので、以降はご自身で自由に改変できます。納品後の追加変更は保守（1時間あたり税込11,000円）で承ります。
- オンプレミス。自社サーバーに置いて運用できます
- ソースコード同梱・MITライセンスなので改変自由
- デモを確認してからの支払い
- LLMO対策と同じで、構造化データや本文の出力も自社仕様に変更できます
対応できる範囲には条件があります。詳細ページの「できること・できないこと」をご確認ください。
FAQ
LLMO対策についてよくある質問
LLMOとSEOは何が違いますか？
SEOはGoogleの検索結果で上位に出すための対策で、LLMOはAIが答えを作るときに自社を引用させるための対策です。土台は共通していて、robots.txt・サイトマップ・構造化データ・本文の書き方はどちらにも効きます。違うのは、AIは「順位」ではなく「引用するかどうか」で判断する点です。見出しの直後に結論が1〜2文で書いてあるページが引用されます。
AIクローラーにブロックされているか、どうすれば分かりますか？
User-Agentを変えて実際にアクセスし、返ってくる応答を比べます。注意が必要なのは、curlのような道具で調べるとブラウザのUser-Agentを付けても403が返るサイトがあることです。これはbot対策が通信の癖を弾いているだけで、AIクローラーを拒否しているわけではありません。通常のHTTPクライアントでも測って、両方の結果を並べないと判断できません。
GPTBotを拒否すると、ChatGPTに出なくなりますか？
いいえ。GPTBotは学習用のクローラーで、ChatGPTが検索して答えるときに読むのはOAI-SearchBotです。この2つは別に設定できます。学習には使わせたくないが検索では引用されたい、という運用が可能です。ClaudeBot、CCBot、PerplexityBotなども役割が違うので、まとめて拒否する前に切り分けることをお勧めします。
llms.txt は設置したほうがいいですか？
設置は簡単で害がないので、置いておく価値はあります。サイトの要点と主要ページをテキストで並べたファイルで、AIがサイトの構造を把握する手がかりになります。ただし、これを置けば引用されるというものではありません。効果が大きいのは構造化データ（JSON-LD）と、本文の書き方のほうです。
LLMO対策をしたら、どれくらいで効果が出ますか？
robots.txtやサイトマップの修正は数日でクロールに反映されます。構造化データの追加は1〜2週間、本文を増やす施策は1〜3か月が目安です。ただしAIの回答は日によって揺れるので、1回聞いて出た・出ないで判断せず、アクセスログでAI経由の流入を継続して数えるほうが確実です。
AI経由の流入は、Googleアナリティクスで分かりますか？
一部しか分かりません。AIクローラーはJavaScriptを実行しないのでGA4には記録されず、Search ConsoleにもAI検索の表示回数は出ません。AIクローラーの訪問はサーバーのアクセスログにしか残りません。人がAIの回答からリンクを踏んだ分は、参照元がchatgpt.comやperplexity.aiとしてGA4に出ます。当社はこの2つを分けて数える仕組みを自社サイトで運用しています。
RELATED
関連サービス
ホームページ制作、内製化支援
Web制作、SEO、フォーム、ブログ、ECを自社で育てる支援。
AI-IT顧問契約
月ぎめで、AIとシステムの相談と手を動かす作業をまとめて引き受けます。
まず、いまAIに読まれているかを測りませんか。
URLをお送りいただければ、AIクローラーの到達状況と直す順番をまとめてお返しします。ここまでは無料です。
