Google検索コンソールの5つのトップクロール統計インサイト

公開: 2021-04-16

Google Search Consoleには、非常に便利で、見つけるのが非常に難しいレポートが1つあります。特に、SEOの旅を始めたばかりの場合はそうです。

これは、Google Search Consoleのメインインターフェースからアクセスすることさえできなくても、すべてのSEO専門家にとって最も強力なツールの1つです。

クロール統計レポートについて話しています。

この記事では、このレポートが非常に重要である理由、レポートにアクセスする方法、およびSEOの利点のためにレポートを使用する方法を学習します。

あなたのウェブサイトはどのようにクロールされていますか？

クロール予算（Googlebotがクロールできるページ数とクロールしたいページ数）は、SEO、特に大規模なWebサイトにとって不可欠です。

ウェブサイトのクロール予算に問題がある場合、Googleは貴重なページの一部をインデックスに登録しない場合があります。

そして、言われているように、グーグルが何かを索引付けしなかったなら、それは存在しません。

Google Search Consoleは、Googlebotが毎日アクセスしているサイトのページ数を表示できます。

この知識を身につければ、SEOの問題を引き起こしている可能性のある異常を見つけることができます。

クロール統計に飛び込む：5つの重要な洞察

クロール統計レポートにアクセスするには、Google検索コンソールアカウントにログインし、 [設定]>[クロール統計]に移動します。

クロール統計レポート内で検査できるすべてのデータディメンションは次のとおりです。

1.ホスト

shop.website.comにeコマースショップがあり、blog.website.comにブログがあるとします。

クロール統計レポートを使用すると、Webサイトの各サブドメインに関連するクロール統計を簡単に確認できます。

残念ながら、この方法は現在サブフォルダーでは機能しません。

2.HTTPステータス

クロール統計レポートのもう1つの使用例は、クロールされたURLのステータスコードを調べることです。

これは、HTTP200OKではないページをクロールするリソースをGooglebotが費やしたくないためです。 それはあなたのクロール予算の無駄です。

ステータスコードごとにクロールされたURLの内訳を確認するには、 [設定]>[クロール統計]>[クロールリクエストの内訳]に移動します。

Google検索コンソールのクロール統計レポートは、HTTP応答タイプごとにクロールされたURLの内訳を示します。

この特定のケースでは、すべてのリクエストの16％がリダイレクトされたページに対して行われました。

このような統計が表示された場合は、リダイレクトホップやその他の潜在的な問題をさらに調査して探すことをお勧めします。

私の意見では、ここで確認できる最悪のケースの1つは、大量の5xxエラーです。

Googleのドキュメントを引用すると、「サイトの速度が低下したり、サーバーエラーで応答したりすると、制限が下がり、Googlebotのクロールが少なくなります。」

このトピックに興味がある場合は、RogerMonttiがGoogle検索コンソールの5xxエラーに関する詳細な記事を書いています。

3.目的

クロール統計レポートは、クロールの目的を2つのカテゴリに分類します。

  • 更新の目的でクロールされたURL（たとえば、Googlebotが新しいリンクやコンテンツを見つけるためにホームページにアクセスしているなど、既知のページの再クロール）。
  • 検出目的でクロールされたURL（初めてクロールされたURL）。

この内訳はめちゃくちゃ便利です。例を次に示します。

最近、「検出済み–現在インデックスに登録されていない」として分類された約100万ページのWebサイトに遭遇しました。

この問題は、そのサイトのすべてのページの90％で報告されました。

（よく知らない場合、「発見されたがインデックスに登録されていない」とは、Googleが特定のページを発見したが、そのページにアクセスしなかったことを意味します。たとえば、町で新しいレストランを発見したが、試していない場合。）

オプションの1つは、Googleがこれらのページを徐々にインデックスに登録することを期待して待つことでした。

もう1つのオプションは、データを調べて問題を診断することでした。

そこで、Google Search Consoleにログインし、 [設定]>[クロール統計]>[クロールリクエスト：HTML]に移動しました。

平均して、Googleはそのウェブサイトの1日あたりわずか7460ページにアクセスしていたことが判明しました。

eコマースWebサイトのクロール統計を示すグラフ。

しかし、ここにさらに重要なことがあります。

クロール統計レポートのおかげで、これらの7460 URLの35％のみが検出の理由でクロールされたことがわかりました。

クロール目的の内訳を示すGoogle検索コンソールのクロール統計レポート。

これは、Googleが1日に発見した2611の新しいページです。

100万人以上のうち2611人。

グーグルがそのペースでウェブサイト全体を完全に索引付けするのに382日かかるでしょう。

これを見つけることはゲームチェンジャーでした。 クロール予算の最適化に完全に焦点を合わせたため、他のすべての検索の最適化は延期されました。

4.ファイルタイプ

GSCクロール統計は、JavaScriptWebサイトに役立ちます。 Googlebotが適切なレンダリングに必要なJSファイルをクロールする頻度を簡単に確認できます。

サイトに画像がたくさんあり、画像検索がSEO戦略にとって重要である場合、このレポートは非​​常に役立ちます。Googlebotが画像をどれだけうまくクロールできるかを確認できます。

5.Googlebotタイプ

最後に、クロール統計レポートは、サイトのクロールに使用されたGooglebotタイプの詳細な内訳を提供します。

モバイルまたはデスクトップのGooglebotと画像、動画、広告のボットからのリクエストの割合を確認できます。

その他の役立つ情報

クロール統計レポートには、サーバーログにはない貴重な情報が含まれていることに注意してください。

  1. DNSエラー。
  2. ページのタイムアウト。
  3. robots.txtファイルのフェッチの問題などのホストの問題。

URL検査ツールでのクロール統計の使用

URLインスペクションツールを使用して、クロール統計レポートの外部にある詳細なクロールデータにアクセスすることもできます。

私は最近、大規模なeコマースWebサイトで作業しましたが、最初の分析の結果、2つの差し迫った問題に気づきました。

  1. 多くの製品ページはGoogleでインデックスに登録されていませんでした。
  2. 製品間に内部リンクはありませんでした。 Googleが新しいコンテンツを発見する唯一の方法は、サイトマップとページ付けされたカテゴリページを使用することでした。

次の自然なステップは、サーバーログにアクセスし、Googleがページ付けされたカテゴリページをクロールしたかどうかを確認することでした。

ただし、特に大規模な組織で作業している場合は、サーバーログにアクセスするのが非常に難しいことがよくあります。

Google検索コンソールのクロール統計レポートが役に立ちました。

私が使用したプロセスと、同様の問題に苦しんでいる場合に使用できるプロセスについて説明します。

1.まず、URL検査ツールでURLを検索します。 サイトの主要なカテゴリの1つからページ付けされたページの1つを選択しました。

2.次に、 [カバレッジ]>[クロールレポート]に移動します。

Google検索コンソールのURL検査ツールを使用すると、特定のURLの最後にクロールされた日付を検索できます。

この場合、URLは3か月前に最後にクロールされました。

これは、3か月以上クロールされていないWebサイトのメインカテゴリページの1つであることに注意してください。

さらに深く掘り下げて、他のカテゴリページのサンプルを確認しました。

Googlebotが多くのメインカテゴリページにアクセスしたことは一度もないことが判明しました。 それらの多くはまだGoogleに知られていません。

Webサイトの可視性の向上に取り組んでいるときに、その情報を入手することがどれほど重要であるかを説明する必要はないと思います。

クロール統計レポートを使用すると、数分以内にこのようなものを確認できます。

まとめ

ご覧のとおり、クロール統計レポートは強力なSEOツールですが、Google検索コンソールを何年も見つけることなく使用できます。

これは、インデックス作成の問題を診断し、クロール予算を最適化するのに役立ちます。これにより、Googleは貴重なコンテンツをすばやく見つけてインデックスに登録できます。これは、大規模なサイトにとって特に重要です。

考えるべきいくつかのユースケースを紹介しましたが、ボールはコートにあります。

このデータをどのように使用して、サイトの可視性を向上させますか？

その他のリソース：

  • クロールファーストSEO：クロールする前に従うべき12ステップのガイド
  • SEOのためにクロール予算を最適化するための7つのヒント
  • 検索エンジンのしくみ

画像クレジット

作者が撮影したすべてのスクリーンショット、2021年4月