Googlebotのクロールバジェットとは

196

こんにちは。ウィルゲートが提供するSEO分析ツール「TACT SEO」ライターチームです。

クロールバジェットとは、GooglebotがWebページをクロールできる上限のことです。クローラーがサイトをクロールできるのは、Webページに次のURLへ繋がるリンクがあるからです。しかしGooglebotがWebサイト内のページをクロールする能力には限りがあります。本来クロールできるURLがあっても、この上限を超えているとクロールされないということが起こるのです。

クロールバジェットを意識すべきサイト

クロールバジェットを意識しなければいけないのは、ページが数千、数万以上に及ぶような大規模サイトです。

例えば、毎日多くのユーザーが無数のコンテンツを投稿しているブログ投稿プラットフォームやアマゾンのような大規模なECサイトなどです。このような場合だとGooglebotがクロールを無限に繰り返してしまい、バジェット上限を超えてしまいます。

上述したように、クロールバジェットの対象となるサイトは一握りの大規模サイトです。基本的にその他のサイトやブログでGooglebotがクロールできないほどのコンテンツが生成されることはないので、ほとんどの場合クロールバジェットを気にかける必要はありません。

クロールバジェットについてGoogleの見解

2017年1月17日、Webマスター向け公式ブログでGoogleがクロールバジェットについて見解を発表しました。

URL数が数千以下のWebサイトにおいてはほとんどの場合、効率よくクロールが行われるため多くのWebサイト運営者はクロールバジェットを気にする必要はないと言っています。また、クロールバジェットの対象となる一握りの大規模サイトやURLパラメータを使用してページを自動生成するサイトは、クロールの対象やタイミングなどに優先順位をつけることが重要だと言及しています。

記事中では、付加価値の低いURLが多数あるとクロールバジェットに悪影響を及ぼすことも説明されました。価値の低いURLが多いとそれらでGooglebotがバジェットを浪費してしまい、価値のあるページが十分にクロールしてもらえない可能性があります。

価値の低い URL カテゴリ(重要度順)

  • ファセット ナビゲーションとセッション ID
  • サイト内の重複コンテンツ
  • ソフトエラー ページ
  • ハッキングされたページ
  • 無限のスペースとプロキシ
  • 質の低いコンテンツやスパム コンテンツ

このような質の低いURLを記載しないようにする必要があります。

参照:Google Webマスター向け公式ブログ「Googlebot のクロール バジェットとは?」

「TACT SEO」は、キーワード調査や日々の順位計測、サイト内のSEO課題の発見などSEO対策を行うために必要な機能が一つになったツールです。 自社サイトが上位表示できていない要因を網羅的に分析することが可能です。 入力時間は30秒!無料版、ぜひお試しください。

SEOに関して、何から着手すべきかわからない、なかなか成果がでないなどのお悩みがございましたら SEO無料相談も受け付けておりますので、お気軽にお問合せください。

Pocket

プロモニスタ編集部
プロモニスタでは、コンテンツマーケティングとコンテンツSEO、SEO対策を中心にwebマーケティング関連の最新情報やノウハウ、当社の事例を発信しています。