not indexed / logs
「未登録」の読み方：クロール済みで却下された面と、ログでしか見えないこと
結論です。「未登録」と「未クロール」は別の状態で、打ち手が正反対になります。2026年8月31日、あるサイトで検索コンソールが「クロールされていない」と言う16件のうち、9件はGooglebotが200で取得済みでした。ログにあるなら「見たうえで載せなかった」なので、登録リクエストも内部リンクも効きません。このページは、サーバーのログと突き合わせる手順、Googlebotの数え方（UAでなくIP）、ads.txtで予算が消える件、似すぎを同じサイトの中で測った記録です。
このサイトはAnthropicの公式サイトではありません。Claude Codeの機能・料金・提供範囲は変わる可能性があるため、重要な判断の前には公式のドキュメントと自分のアカウント設定を確認してください。
先に結論：ログと突き合わせて2つに分ける
| 状態 | 意味 | 打ち手 |
|---|---|---|
| ログに有り・検索コンソールは未登録 | 見たうえで載せなかった | 中身を見直す。登録リクエストも内部リンクも効かない |
| ログにも無し | まだ来ていない | 登録リクエスト、発見されやすさ（本文中のリンク） |
分けずに「クロールされていない16件」と報告すると、9件について間違った打ち手を選びます。
確かめる手順：報告の前に4つ
- サーバーのアクセスログを取る。ホスティングによっては、ドメインごとのログが圧縮ファイルで置かれます。https のログのほうだけ見れば足ります。FTPで取得して展開します。
- Googlebotを、UAでなくIPで数える。本物のGoogleは
66.249.64.0/19の範囲です。 - 日付を文字列のまま比べない。月名を数値に直してから比べます（後述）。
- 応答コードの内訳を見る。実ページ以外に何を取りに来ているかが分かります。
実際に起きた記録1：UAで数えたら2.7倍になった（2026年9月10日）
「登録リクエストは効いたか」を調べていて、UAに Googlebot を含む行を数えたら、8月27〜29日に山があり、ある面を16回取得していました。「押した効果が出ている」と結論しかけましたが、IPで割り直すと、その16件は自分の監視ツールのIPでした。UAに「Googlebot/2.1」と書いてあるので、UA判定では見分けられません。
| 数え方 | ページ取得（8月と9月の41日） |
|---|---|
| UAで判定 | 69件・20URL |
| IPで判定（正） | 26件・12URL |
2.7倍の水増しで、「クロールは回復している」という真逆の結論になるところでした。Googleを名乗るアクセスは、本物のGooglebot、検査ツール、自分のツールの3種類に分けて数えます。
実際に起きた記録2：ログに無いのは本当に来ていない（2026年8月28日）
別のサイトで、URL検査が26URLのうちクロール済みは1本（トップのみ）と言うのに、サーバーログには、トップ11回と、あるランキングの面を8月27日に200で取得した記録がありました。検索コンソールの索引の流れは数日遅れることがあり、ログが一次情報です。
ログで分かることは、クローラの種類（Googlebot 113回、Bingbot 79回、GPTBot 271回など）、予算が何に使われているか、応答コードの内訳です。実測では、8月27日のGooglebot 16回のうち14回が、同じ死んだURLの410でした。GPTBotは271回のうち191回が429（叩きすぎて弾かれている）でした。410が正しく返っていても、Googleは繰り返し確認に来ます。内部リンクとsitemapから消えていれば、できることはそれ以上ありません。無関係なページへ301で飛ばすのは、利用者に嘘の転送になります。
日付の比較では、27/Aug を文字列で比べると「31/Jul」が後ろになり、最終訪問を7月31日と誤読しました。
実際に起きた記録3：取得済みなのに載らない理由を、5つ試して全部否定
2026年8月31日の突き合わせで、「取得済み・未登録」の原因をページ側の指標で探しました。結果は次のとおりです。
| 指標 | 未登録 | 索引済み |
|---|---|---|
| 本文中の被リンク | 13.4本 | 9.7本（むしろ未登録が多い） |
| 同種ページ内の重複 | 20% | 18% |
| 本文の字数 | 1,662字 | 1,843字 |
| lastmodの新しさ | 相関0.10 | - |
ページ側に差が無いなら、サイト単位の枠が効いていると読めます。個別の手当てでは動きません。一方、2026年9月24日の別サイトでは、他サイトとの突き合わせは全ページ0〜12%で問題なしでしたが、似ていた相手は同じサイトの別ページでした（一方のページの独自の文量は628字で、19.6%一致）。自分同士を測る道具が無かったので作り、20文字一致で測り直して書き直し、独自の文量は1,694字、最も似た相手は6.2%になりました。
ads.txt が無いと、小さいサイトの予算の2割が消える（2026年9月19日）
広告を1つも入れていないサイトでも、Googlebotは /ads.txt を毎日取りに来ます。24ページのサイトで実測すると、Googlebotは229件で、404が30件（13.1%）、httpからの301が15件（6.6%）、合計45件（19.7%）でした。200以外の合計は65件（28.4%）で、同じ期間に6ページは一度も取られていません。生成元に ads.txt を出す処理を足せば無駄は止まります。中身は宣言だけでよく、有効な行が無い ads.txt は「販売を許可した事業者はいない」という正しい宣言です。ただし、これで未クロールのページが読まれるとは限りません。配分はGoogleが決めます。詳しくはads.txt とクロール予算に書きます。
報告に書く一文
報告には「ログで確認済み」か「ログ未確認」かを必ず一文で添えます。未確認のまま「クロールされていない」と書くと、読んだ人が間違った打ち手を選びます。数える範囲（何日分か）と、Googlebotをどう判定したか（IP）も添えれば、後から誰でも再現できます。
sitemapの更新日も見る
未クロールの面が多いサイトでは、sitemapのlastmodが実際の更新日とずれていないかも確かめます。一括編集で全ページに触れたのにlastmodが古いままだと、Googleは「更新なし」と読んで読み直しません。実際に、64ページ全部が同じ日に更新されていたのに、sitemapは数か月前の日付のままだったことがあります。実際の更新日から作り直して再送信すると、同日中にsitemapの最終取得日が更新されました。
よくある質問
ログが手に入らないときは？
検索コンソールの状態だけで断定せず、「ログで未確認」と明記します。数日遅れの情報であることも書き添えます。
取得済み・未登録の面に、登録リクエストを押してよいですか？
効きません。中身の見直し、特に同じサイト内の似すぎを先に測ります。押す場面は直した面にクロールを促す手順に書きました。
自分のツールがログを汚していないか見る方法は？
IPで分けて数えます。自分の検査が多いと、遮断の原因にもなります。自分の検査で接続元が止まった記録を見てください。