Webクロールの初心者向けガイド

公開: 2022-05-02

あなたがウェブサイトの所有者であろうとSEOの専門家であろうと、ウェブサイトのクロール、検索エンジンがウェブサイトとウェブページをクロールする方法、そして特定の検索クエリに対してページをランク付けする（またはランク付けしないことを決定する）方法を理解することが不可欠です。

Webサイトのクロールは技術的なプロセスであり、正直なところ、その背後にある技術的な側面を理解する必要はありません。 Googleのような検索エンジンのウェブサイトクロールを容易にするために主な概念と何ができるかを理解することだけが、ウェブサイトをより検索エンジンにやさしくし、SEOのベストプラクティスに従い、検索エンジン結果ページ（SERP）で上位にランク付けするのに役立ちます。

この投稿では、以下について説明します。

ウェブサイトのクロールとは
さまざまな種類のWebサイトのクロール
2022年以降のWebサイトクロールの将来はどのようになるか
Googleのウェブサイトのクロールを容易にする方法

上から見ていきましょう。

Webクロールとは何ですか？

これにさらに踏み込む前に、Webクロールとは何かを理解することが重要です。

クロールとは、検索エンジンがインターネット上で新しいコンテンツや更新されたコンテンツを発見するプロセスを指します。検索エンジンは、クローラー（一般にロボット、ボット、またはスパイダーとも呼ばれます）を送信することによってこれを行います。

これらのボットはインターネットを「クロール」して、SERPでインデックスを作成できる新しいページがあるかどうかを確認します。同様に、これらのボットは、最近新しいコンテンツで更新されたページも探します。

「コンテンツ」の種類は、Webページから画像、ビデオ、PDFまでさまざまです。

Webクローラーが直面する制限

ご想像のとおり、インターネット上の各Webページを取得して、新しいコンテンツを探すのは大変な作業です。これは、インターネット上のWebページの量が非常に多いためです。さらに、何百万もの新しいページが毎日Webに表示されます。

これには多くの計算リソースが必要であり、持続可能性の問題につながる可能性があります。これについては、この記事の後半で詳しく説明します。これは、Webクロールの将来にとって何を意味するのか、そしてこの制限がWebマスターとSEOの専門家に与える潜在的な影響について説明します。

今のところ、これらのクローラーまたはスパイダーがより効率的になることでこの問題を克服しようとする方法と、これを活用して利益を得る方法を理解する必要があります。

クロールスパイダーは通常、いくつかのWebページをフェッチしてクロールします。次に、それらのWebページ上のリンク（内部リンクと外部リンク）をたどって、クロールしてインデックスを作成する新しいURLを見つけます。これにより、クローラーはURLの巨大なデータベースをより効率的に構築できるようになります。

そしてそれがあなたのウェブページのページへのリンクを追加する理由です—特に他のページへの文脈的に関連する内部リンクは推奨されるSEOの実践です。

2種類のWebクロール

Googleによると、Webクロールには2つのタイプがあります。

発見
更新

「クロールに関しては、2種類のクロールがあります。 1つは、Webサイトの新しいページを検出しようとする検出クロールです。 もう1つは、既知の既存のページを更新する更新クロールです」とGoogleのJohnMueller氏は述べています。

クロールの頻度は、クロールの種類は別として、WebサイトまたはWebページでコンテンツが更新される頻度によっても異なります。たとえば、Webサイトのホームページが他のページよりも定期的に更新される場合、そのページでより多くのクロールアクティビティが表示される可能性があります。

また、前に説明したように、クロールスパイダーはホームページ上のリンクも検索し、それらのリンクで見つけたページをクロールします。

したがって、新しいページへのリンクがそこに見つかった場合、更新クロール（ホームページの場合、新しいコンテンツがあるかどうかを確認するため）も検出クロールにつながる可能性があります。

これについて理解する最後のポイントは、Googlebotがパターンを認識して、それに応じて更新クロールを調整できることです。

GoogleのJohnMuellerは、次の例でこれを説明しました。

「たとえば、ニュースWebサイトがあり、それを1時間ごとに更新する場合、1時間ごとにクロールする必要があることを学習する必要があります。 一方、月に1回更新されるニュースWebサイトの場合は、1時間ごとにクロールする必要がないことを学ぶ必要があります。

そして、それは品質の兆候でも、ランキングの兆候でもありません。 これは、技術的な観点からすれば、1日1回、1週間に1回クロールできることを学んだだけで、問題ありません。」

Googleは、クロールリソースを節約するためにこれを行います。先に述べたように、クロールは大変な作業であり、毎日多くの計算リソースを消費する可能性があります。特にインターネットが成長し続けているため、これはあまり持続可能ではありません。

これが次のポイントにつながります。

2022年以降のWebクロールの未来

Search Off the Recordsポッドキャストの最近のエピソードで、GoogleのSearch Relationsチームは、計算リソースを節約し、持続可能性を促進するために、GoogleがWebクロール速度を下げる可能性があることを示唆しました。

「一般的に、コンピューティングは実際には持続可能ではありません。 私たちは2007年か何かを知らないので、炭素を含まないのですが、それは私たちが環境へのフットプリントをさらに減らすことができないという意味ではありません。 そして、這うことは、早い段階で、ぶら下がっている果物を切り落とすことができたものの1つです」とGoogleのGaryIllyesは言いました。

彼はさらに、Googleが更新クロール速度を下げることによってこの持続可能性の目標を達成する方法を詳しく説明しました。

「私たちがしていることの1つは、それほど多くのことをする必要がないかもしれませんが、クロールの更新です。 つまり、ドキュメントであるURLを見つけたら、次に移動してクロールし、最終的には戻ってそのURLに再度アクセスします。 それはリフレッシュクロールです。

そして、その1つのURLに戻るたびに、それは常に更新クロールになります。 では、どのくらいの頻度でそのURLに戻る必要がありますか？」

クロール率の低下は、Webサイトの所有者とSEOにとってどのような意味がありますか？

更新クロールのクロール速度を下げると、更新されたWebページのインデックス作成とランキングの更新が遅くなる可能性があります。ただし、必ずしも検索エンジンのランキングが低いことを意味するわけではありません。

Gary Illyesはポッドキャストの中で、「ページがもっとクロールされると、ランクが上がる」と考えるのは「誤解だ」と確認しました。

Webサイトのクロールを改善するための7つのヒント

Webクロールとは何か、Webクロールの将来はどうなるかがわかったところで、Webサイトのクロールを改善するために使用できるいくつかのヒントを簡単に見てみましょう。

コンテンツを頻繁に更新してください。以前に学習したように、ウェブサイト全体で他のコンテンツの更新がない状態で、週に1つの投稿を公開すると、Googleはパターンを認識し、ウェブサイトの更新クロールを遅くします。
Google検索コンソールでインデックスを再作成するためのURLを送信して、ウェブサイトが更新されたらGoogleを更新します。
定期的にクロールされたWebサイトだけでなく、サイトで定期的にクロールされたWebページから、よりコンテキストに関連したリンクを作成します。
あなたのウェブサイトの読み込み速度を改善するために時間と労力を費やしてください。 Webサイトの読み込みが遅すぎると、Webサイトクローラーがサイトを放棄する可能性があります。
サイトマップを追加して最新の状態に保ち、Googleがウェブクロールを行えるようにします。ここであなたのウェブサイトのサイトマップをチェックしてください。
Webサイトで孤立したページの数を減らします。孤立したページとは、それらを指すリンクがないページです。
リダイレクトチェーンを減らす

このWebクロールの初心者向けガイドがお役に立てば幸いです。ご不明な点やご意見がございましたら、下記のコメント欄でお知らせください。