- 公開日： 最終更新日：
クロールバジェットとは？影響を受けるホームページや増やす方法
SEOに真剣に取り組んでいる方であれば、クロールバジェットという言葉を聞いた経験があると思います。
Googleは、大規模サイトで更新頻度の高いホームページでなければ、クロールバジェットは気にしなくても良いと発言がありますが、当社ではクロールバジェットを意識したホームページ制作や運営はSEOにおいて重要と考えています。
当ページでは、クロールバジェットとは何かや、確認法、最適化の効果、影響を受けるホームページ、増やす方法、無駄を減らす方法を解説します。
目次
クロールバジェットとは
クロールバジェットとは、1つのホームページでクローラーがアクセスできる上限のことを言います。
クローラーは、世界中のホームページを確認しなくてはならず、その数は20億とも言われており、さらにホームページ1つに対して複数のページが存在しているので、膨大なページ数をクロールしなくてはなりません。
そのため、検索エンジンは、1つのホームページに対して、クロールする上限を定めて、重要度の高いホームページをよくクロールして、低いページのクロール頻度を下げています。
クローラーとは
クローラーとは、検索エンジンがホームページの情報収集を行う際に利用するプログラムのことを言い、クローラーは、インターネットを回遊して、ホームページのコンテンツをデータベースに格納しています。
つまり、クローラーが訪れていないホームページは、検索エンジンのデータベースに格納されていないことを意味するので、どんなに優れたコンテンツを作成していたとしても、検索結果に表示されることはありません。
クローラビリティとは
クローラビリティとは、クローラーのサイト内の巡回のしやすさのことを言います。
クローラーは、ページを発見したときに、そのページがあるホームページをすべて巡回してくれるわけではなく、内部リンクを使い、少しずつさまざまなページのコンテンツをデータベースに格納しています。
つまり、クローラビリティの低いホームページは、クローラーが1ページだけを見てる離脱してしまうので、もったいない結果になっていると言えます。
クロールバジェットの確認法
クロールバジェットを確認する方法はありませんが、大まかに予測することは可能なので確認法を解説します。
Googleサーチコンソールにアクセス
Googleサーチコンソールにログインして、設定＞クロールの統計情報＞レポートを開くをクリックします。
クロールの統計情報から予測する
そうすると上記のような画面が表示されるのですが、「クロールリクエストの...」と書かれているのが、約3ヶ月の間に訪れたGoogleクローラになるGooglebotのアクセス数で、当社サイトで言えば、3ヶ月で4.64万回がクロールバジェットになっていると推測します。
クロールバジェット最適化の効果
クロールバジェットを最適化する効果を解説します。
こちらのホームページは、クロールバジェットを最適化したホームページになっており、7月15日から着実にクローラーの集客数を増やしており、クロールバジェットも高まったと予測されます。
7月27日ごろからGoogleサーチコンソールの検索結果に表示される合計クリック回数と合計表示回数は向上傾向にあり、平均掲載順位は一定です。
また、平均掲載順位としては上がっていませんが、トップページSEOでは高い効果を発揮しており、ライバルにホットペッパーなどのホームページが入ってくるので、少し難易度が高いキーワードになるのですが、8月1日から本日まで主要なキーワードすべてで検索順位を少しずつ上げています。
もちろん、Googleが大規模サイトで更新頻度の高いホームページでなければ気にする必要がないと発言をしていることは理解していますが、クロールバジェットを意識することは、SEOで効果的な対策と言えます。
クロールバジェットの影響を受けるホームページ
クロールバジェットの影響を受けるホームページを具体的に解説します。
Google検索セントラルの大規模なサイト所有者向けのクロール バジェット管理ガイドを見ると、クロールバジェットの影響を受けるのは、以下の3サイトです。
- 100万ページ以上で週1程度の更新をしているホームページ
- 1万ページ以上で、毎日更新しているホームページ
- 多くのページが検出- インデックス未登録になっているホームページ
つまり、1万ページを超えているホームページか、検出 - インデックス未登録の多いホームページでなければ、クロールバジェットを意識する必要はないそうです。
ただ、Googleの公式発表としては、上記3サイトでなければクロールバジェットを意識しなくても良いのですが、先述した通り、当社の制作実績のホームページではクロールバジェットを意識することでSEO効果を高めています。
そのため、Googleの発言を信じるのであれば上記3サイト、当社の考えを信じていただけるのであればすべてのホームページがクロールバジェットの影響を受けると言えます。
クロールバジェットを増やす方法
クロールバジェットをどのように増やしていけば良いかを解説します。
Googleサーチコンソールを実装する
クロールバジェット数を増やすためには、検索エンジンのインデックス数を増やすことが大切です。
インデックスとは、検索エンジンのデータベースに格納されることを言い、すなわち検索結果に表示されるページ数のことを言います。
インデックスを増やす対策として、Googleサーチコンソールを実装して、XMLサイトマップとRSS/Atomフィードを送信することで、Googleにすべてのページを認識してもらうことができます。
Yahoo!JapanはGoogleと同じエンジンを積んでいるので、Googleサーチコンソールを実装すれば問題ありませんが、Microsoft Bingは、異なるエンジンなので、BingウェブマスターツールからXMLサイトマップとRSS/Atomフィードの送信が必要です。
Bingウェブマスターツールの利用法はBingウェブマスターツールとは？のページからご確認ください。
良質なページ数や被リンク数を増やす
Googleは良質なページや被リンクを重要だと考えています。
そのため、良質なページ数や被リンク本数を増やすことで、クロールバジェットを高めることが可能です。
例えば、以下は低品質なページが多いホームページで、サイト全体のページ数は499ページになります。
反面、こちらはGoogleから高品質だと判断されて、高いSEO効果を発揮しているホームページで、サイト全体のページ数は63ページになります。
ページ数では、圧倒的に多くても、良質なページ数が多いホームページの方がクロールバジェットは高くなっています。
そのため、クロールバジェットを意識するWebマスターは、サイト全体のコンテンツの品質と、被リンクの品質を意識しなくてはなりません。
計画的に内部リンク数を増やす
先ほど紹介したクロールバジェットが増えたホームページでは、新規ページも作成していましたが、内部リンクの充実に力を入れています。
上記は、そのホームページに実装しているGoogleサーチコンソールのリンクのページにある内部リンク数になっているのですが、上位2ページが4,000本を超え、そこから下は1,000本以上になっています。
サイト全体のページ数としては、1,091ページになっており、ヘッダーやフッターのリンクはもちろん、コンテンツ箇所にも多くの内部リンクを設置しています。
また、闇雲に内部リンクを掲載したわけではなく、ユーザーに役立つ内部リンクとするために、関連したページであり、Googleから高い評価を得たいページに内部リンクを行っています。
内部リンクの適切な設置法については、内部リンクとは？のページからご覧ください。
その結果、クローラーがさまざまなページを巡回できるようになり、クロールバジェットが高まったのではないかと推測します。
更新頻度を高める
更新頻度を高めることも、クロールバジェットを増やす効果があります。
これまでの経験で見ると、1日に1ページ以上を作成しているホームページほど、クローラーの訪問頻度が増えているように感じ、一定のページ数になった段階でクロールバジェットは大きく向上しています。
クロールバジェットの無駄を減らす方法
クロールバジェットは、クローラーの訪問上限になっているので、できる限り無駄なクローラーの訪問を抑えることが大切です。
では、クロールバジェットの無駄を減らす方法を解説します。
インデックス未登録を改善する
Googleサーチコンソールに表示されるクロール済み - インデックス未登録と検出 - インデックス未登録を改善しましょう。
クロール済み - インデックス未登録の改善法は、サイト全体を良質にすることや、サイト全体で内部リンクを張り巡らせることになり、Googleから品質の高いホームページと認識してもらうことが大切です。
検出 - インデックス未登録の改善法は、サーバーのディスクスペースを拡張したり、Googleサーチコンソールへの登録と初期設定を行うことが大切です。
インデックス未登録は、検索結果に出てこないインデックスされていないページになり、クロールバジェットの無駄と言えるので、そのページをインデックスしてもらうことで、無駄を減らすことが可能です。
URLの削除や301リダイレクトは極力控える
クロールバジェットの無駄を減らすには、URLの削除や301リダイレクトを可能な限りなくしましょう。
URLを削除すると、404 NOT FOUNDが表示されるのですが、404 NOT FOUNDのページには、noindexを設定することが一般的で、クロールバジェットの無駄と言えます。
また、301リダイレクトを行うと、リダイレクト元のページにもクローラーがアクセスしてしまうので、クロールバジェットの無駄使いをしていると言えます。
もちろん、0である必要はありませんが、Webマスターは404 NOT FOUNDと301リダイレクトを極力控えることを意識することが大切です。
クロールバジェットのまとめ
クロールバジェットについて解説しました。
クロールバジェットは、Google曰く10,000ページを超えるホームページか、検出 - インデックス未登録が多いホームページ以外は気にしなくても良いと発言をしています。
しかし、クロールバジェット対策は、SEOに繋がる内容になっているので、意識をすることによって、SEO効果を高めることが可能です。
クロールバジェットって何？とお思いの方の参考になれば幸いです。
