Googleのクロール頻度とは？いつ訪れたか確認する方法と頻度を向上させる取り組み

ブログやオウンドメディアで記事を公開したのに、検索結果になかなか反映されない。そんな経験はありませんか。原因のひとつとして考えられるのが「クロール頻度」です。

本記事では、クロール頻度の目安や決まる仕組み、確認方法、上げる方法・下げる方法まで、初心者の方にもわかりやすく解説します。Google公式の情報をもとに、自社サイトでの実例も交えて紹介するので、ぜひ最後までご覧ください。

クロール頻度とは？目安は1〜2週間に1回

クロール頻度とは、Googleのクローラー（Googlebot）がサイトを巡回する間隔のことです。目安としては、1〜2週間に1回程度とされています。

Googleのヘルプページでも、クロール頻度は比較的安定した間隔で推移することが示されています。更新頻度が高く、人気度も高いサイトであれば、数日おきに巡回されることも珍しくありません。

▶参照：クロールの統計情報レポート – Search Console ヘルプ

巡回頻度と表示速度の2つの意味

「クロール頻度」という言葉は、実は2つの意味で使われることがあります。1つはクローラーが巡回する「間隔」、もう1つは巡回時にサーバーへアクセスする「速度」です。

Search Console上ではこの2つが別々の設定として扱われる場面もあるため、混同しないよう注意しましょう。本記事では主に前者の「巡回する間隔」について解説します。

新規サイトは1ヶ月に1回のことも

公開したばかりのサイトや、更新頻度が低いサイトは、1ヶ月に1回程度しか巡回されないケースもあります。

Googleは各サイトの実績や重要度を見ながら、クロールに使うリソースを配分しています。実績がまだ少ない新規サイトは、後回しにされやすい傾向があるのです。

▶関連記事：クローラーとは？仕組みとSEOへの影響を解説

クロール頻度が決まる3つの要因

クロール頻度は、主に3つの要因によって決まります。

それぞれ詳しく見ていきましょう。

サイトの人気度・被リンク数

被リンクの数や検索での需要が高いサイトほど、優先的にクロールされやすくなります。

Googleは重要度が高いと判断したページに、多くのクロールリソースを割り当てる仕組みになっています。そのため、外部サイトから自然に引用されるようなコンテンツを増やすことが、間接的にクロール頻度の向上にもつながります。

▶関連記事：被リンクとは？SEOの効果が期待できる獲得方法と注意点

コンテンツの更新頻度

更新頻度が高いサイトほど、クローラーは頻繁に訪れる傾向があります。

新しい情報が定期的に追加されるサイトは、変化を見逃さないよう再訪頻度が上がりやすいためです。反対に、長期間更新が止まっているサイトは、巡回の優先度が下がってしまいます。

サーバーの応答速度とクロールバジェット

サーバーの応答が遅いと、クロール頻度が下がってしまうことがあります。

Googleは各サイトに割り当てた「クロールバジェット」の範囲内で巡回を行います。応答速度が遅いとその分クロールできるページ数が減ってしまうため、表示速度の改善は頻度アップの近道です。クロールバジェットの詳しい仕組みは、以下の記事もあわせてご確認ください。

▶関連記事：クロールバジェットとは？意味と最適化の方法を解説

クロール頻度を確認する2つの方法

クロール頻度は、Search Consoleの「URL検査」と「クロールの統計情報」の2つで確認できます。特定のページを調べたいのか、サイト全体の傾向を知りたいのかによって使い分けましょう。

URL検査で1ページずつ確認する

特定のページが最後にいつクロールされたかを知りたい場合は、URL検査が便利です。

Search Consoleの上部にある検索窓にURLを入力するだけで、最終クロール日時をすぐに確認できます。公開直後の記事がクロールされているか不安なときにも役立つ機能です。

クロールの統計情報で全体を把握する

サイト全体の傾向を把握したい場合は、「設定」から「クロールの統計情報」レポートを開いてみてください。

過去90日間のクロールリクエスト数や、サーバーの応答状況がグラフで確認できます。急激な増減がないか、定期的にチェックする習慣をつけましょう。

クロールリクエストの合計数を見る

日別のリクエスト数の推移を見ることで、クロール頻度が安定しているか、それとも急増や急減が起きていないかを判断できます。

応答・ファイル形式別の内訳を見る

ステータスコード別、HTMLや画像といったファイル形式別の内訳からは、クロールの無駄遣いが起きていないかを確認できます。

【実例】自社サイトのクロール統計を公開

ここでは、実際に弊社サイトのクロール統計情報を公開します。数字だけではイメージしづらい部分も、実例を見ることで具体的につかめるはずです。

クロールリクエスト数の推移データ

直近90日間で、弊社サイトの合計クロールリクエスト数は44.1万件でした。

合計ダウンロードサイズは106億バイト、平均応答時間は331ミリ秒です。4月中旬に一時的なピークがあったものの、その後は1日あたり4,000〜8,000件程度で安定して推移しています。

データから読み取れる傾向と対策

グラフから読み取れるのは、記事の更新が落ち着いた時期にクロールリクエスト数も緩やかに減少していく、という傾向です。極端な増減がないことは、Googleからの評価が安定している証と言えるでしょう。

平均応答時間331ミリ秒という数値も、サーバー側がボトルネックになっていないことを示しています。ホストのステータスも過去90日間で問題は起きていません。

今後もこの応答速度を維持しながら、定期的な記事の追加・更新を続けることで、安定したクロール頻度を保っていく方針です。

クロール頻度を上げる4つの方法

クロール頻度を意図的に上げたい場合、有効な方法は主に4つあります。

すぐに取り組めるものから順に紹介します。

XMLサイトマップを送信する

サイトマップを送信すると、Googleが新しいURLを把握しやすくなり、巡回されるきっかけが増えます。

Search Consoleの「サイトマップ」メニューからURLを登録するだけで完了します。記事を追加した際は、忘れずに最新のサイトマップが反映されているか確認してください。

▶関連記事：サイトマップとは？HTMLやXMLの違いや作成方法を解説

URL検査でインデックスをリクエストする

新規記事や更新した記事は、URL検査から「インデックス登録をリクエスト」することで、通常より早い再クロールを促せます。

ただし、乱用すると効果が薄れてしまう可能性もあります。公開直後の重要な記事に絞って使うのがおすすめです。

▶関連記事：インデックスとは？SEOの効果と確認方法や登録されない要因

サーバーの応答速度を改善する

表示速度が遅いサーバーは、クロールできるページ数が制限されやすくなります。

画像の圧縮やキャッシュ設定の見直し、レンタルサーバーのプラン変更など、できるところから改善していきましょう。応答速度の改善は、ユーザー体験の向上にも直結します。

▶関連記事：ページ表示速度はSEOで重要！ページスピードの測定方法は？

質の高いコンテンツを定期的に追加する

独自性の高い情報を継続的に発信するサイトほど、クローラーの再訪頻度が上がりやすくなります。

Googleは検索ユーザーの役に立つ更新かどうかを重視しているため、文字数を水増しするだけの更新は逆効果になりかねません。一次情報や独自の見解を盛り込むことを意識してください。

クロール頻度を意図的に下げる方法

サーバー負荷を抑えたい場合は、Search Consoleからクロール頻度を下げる申請も可能です。急激なアクセス増加でサーバーが不安定になっているときに検討してみましょう。

Search Consoleでクロール速度を制限する

「クロールの統計情報」のページから、特別リクエストとしてクロール頻度を下げる申請を送ることができます。

申請の効果が反映されるまでには、通常24時間ほどかかります。すべてのサイトで即座に対応されるわけではない点も、あわせて覚えておきましょう。

ステータスコードで一時的に抑制する

サーバー負荷が急激に高まった場合は、一時的に500・503・429のステータスコードを返すことでクロールを抑制できます。

ただし、長期間続けるとクロールされなくなるリスクがあります。あくまで緊急時の一時的な対応にとどめてください。

▶参照：Googleのクロール頻度を下げる | Crawling infrastructure

クロール頻度が低くても慌てなくていいケース

クロール頻度が低いからといって、必ずしも問題があるわけではありません。

上記のようなケースは、過度に心配する必要はないでしょう。

更新が少ない静的サイトの場合

会社概要や採用ページなど、そもそも更新の少ないページは頻繁にクロールされる必要がありません。

内容が変わらないページにクローラーが毎日訪れても、双方にとってメリットは少ないためです。

公開直後でインデックス待ちの場合

公開したばかりのサイトは、Googleからの評価がまだ定まっていません。

時間の経過とともに実績が積み上がり、クロール頻度が徐々に上がっていくケースが多く見られます。焦らず、コンテンツの追加を続けることが大切です。

見直しが必要な本当に危険なケース

一方で、公開から数ヶ月経ってもクロールが極端に少ない場合や、URL検査で「インデックス未登録」が続く場合は注意が必要です。

サーバーエラーが発生していないか、noindexタグを誤って設定していないか、一度確認してみてください。原因が特定できないときは、専門家に相談するのも一つの方法かもしれません。

▶関連記事：noindexとnofollowとは？得られるSEO効果と設定方法

クロール頻度に関するよくある質問

ここでは、クロール頻度についてよく寄せられる質問をまとめました。

それぞれについて簡単に回答していきます。

Q1.クロール頻度とインデックス速度は違いは？

はい、異なります。クロールはページの内容を取得する作業で、インデックスはその内容を検索結果に登録する作業です。

クロールされたページが、必ずすぐにインデックスされるとは限りません。インデックスの状況は、URL検査から個別に確認できます。

Q2.Googleクロールの周期はどのくらい？

一般的な目安は、1〜2週間に1回程度です。多くのサイトで比較的安定した間隔で推移するとされています。

ただし、サイトの状況によっては数日おきから1ヶ月に1回まで幅があります。人気度や更新頻度が影響することを覚えておいてください。

Q3.クローラーはいつ来る？

決まった時間はなく、Googleのアルゴリズムが自動的にタイミングを判断しています。

おおよその日時を知りたい場合は、URL検査の「最終クロール日時」から確認できます。気になる記事があれば、公開後にチェックしてみましょう。

まとめ｜クロール頻度を理解し上位表示を狙おう

クロール頻度は、サイトの人気度・更新頻度・サーバーの応答速度によって決まり、目安は1〜2週間に1回程度です。仕組みを理解し、正しく対策することで、新規記事や更新した記事をより早く検索エンジンに認識させられます。

最後に、この記事のポイントをまとめます。

クロール頻度の土台となる「クローラー」の基本や、サイト全体のクロール管理に関わる「クロールバジェット」についても、あわせて理解しておくとより効果的な対策につながります。