サイトのクロール性とインデックス可能性を高める 10 のステップ

公開: 2022-11-04

キーワードとコンテンツは、ほとんどの検索エンジン最適化戦略が構築される 2 本の柱かもしれませんが、重要なのはそれだけではありません。

あまり議論されていませんが、ユーザーだけでなく検索ボットにとっても同様に重要なのは、Web サイトの発見可能性です。

インターネット上の 19 億 3000 万の Web サイトには、およそ 500 億の Web ページがあります。これは、人間のチームが調査するには多すぎるため、スパイダーとも呼ばれるこれらのボットが重要な役割を果たします。

これらのボットは、Web サイトから Web サイトへ、およびページからページへのリンクをたどって、各ページのコンテンツを決定します。この情報は、URL の膨大なデータベースまたはインデックスにコンパイルされ、検索エンジンのアルゴリズムによってランキングされます。

サイトをナビゲートして理解するこの 2 段階のプロセスは、クロールとインデックス作成と呼ばれます。

SEO の専門家として、これらの用語を聞いたことがあることは間違いありませんが、わかりやすくするために定義してみましょう。

クロール性とは、これらの検索エンジンボットが Web ページをどれだけスキャンしてインデックスに登録できるかを指します。
インデックス可能性は、ウェブページを分析してインデックスに追加する検索エンジンの能力を測定します。

ご想像のとおり、これらはどちらも SEO の重要な部分です。

リンク切れや行き止まりが多いなど、サイトのクロール性が低い場合、検索エンジンのクローラーはすべてのコンテンツにアクセスできず、インデックスから除外されます。

一方、インデックス化されていないページは検索結果に表示されないため、インデックス可能性は非常に重要です。 Google は、データベースに含まれていないページをどのようにランク付けできますか?

クロールとインデックス作成のプロセスは、ここで説明したよりも少し複雑ですが、それが基本的な概要です。

それらがどのように機能するかについてより詳細な議論を探している場合は、Dave Davies がクロールとインデックス作成に関する優れた記事を持っています。

クロールとインデックス作成を改善する方法

これら 2 つのプロセスがいかに重要であるかを説明したので、クロールとインデックス作成に影響を与える Web サイトのいくつかの要素を見て、それらのためにサイトを最適化する方法について説明します。

1.ページの読み込み速度を改善する

カタログ化する数十億の Web ページがあるため、Web スパイダーは、リンクが読み込まれるのを一日中待つ必要はありません。これは、クロールバジェットと呼ばれることもあります。

指定された時間枠内にサイトが読み込まれない場合、ユーザーはサイトを離れます。つまり、クロールされず、インデックスに登録されないままになります。ご想像のとおり、これは SEO の目的には適していません。

したがって、ページの速度を定期的に評価し、可能な限り改善することをお勧めします。

Google Search Console や Screaming Frog などのツールを使用して、Web サイトの速度を確認できます。

サイトの実行速度が遅い場合は、問題を軽減するための手順を実行してください。これには、サーバーまたはホスティングプラットフォームのアップグレード、圧縮の有効化、CSS、JavaScript、および HTML の最小化、リダイレクトの排除または削減が含まれます。

Core Web Vitals レポートをチェックして、読み込み時間を遅くしている原因を特定します。特にユーザー中心の観点から、目標に関するより洗練された情報が必要な場合は、Google Lighthouse が非常に便利なオープンソースツールです。

2. 内部リンク体制の強化

優れたサイト構造と内部リンクは、成功する SEO 戦略の基本要素です。整理されていない Web サイトは、検索エンジンがクロールするのが難しいため、内部リンクは Web サイトで実行できる最も重要なことの 1 つになります。

しかし、私たちの言葉を鵜呑みにしないでください。これについて、Google の検索擁護者である John Mueller 氏は次のように述べています。

「内部リンクは SEO にとって非常に重要です。 Google を誘導し、重要だと思われるページに訪問者を誘導することは、Web サイトでできる最大のことの 1 つだと思います。」

内部リンクが不十分な場合、孤立したページや、Web サイトの他の部分にリンクしていないページが作成されるリスクもあります。これらのページには何も誘導されないため、検索エンジンがそれらを見つける唯一の方法は、サイトマップからです。

この問題や不適切な構造に起因するその他の問題を解消するには、サイトの論理的な内部構造を作成します。

ホームページは、ピラミッドのさらに下のページでサポートされているサブページにリンクする必要があります。これらのサブページには、自然に感じられるコンテキストリンクが含まれている必要があります。

もう 1 つ気をつけなければならないのは、URL にタイプミスがあるものを含め、壊れたリンクです。もちろん、これはリンク切れにつながり、恐ろしい 404 エラーにつながります。つまり、ページが見つかりません。

これに関する問題は、壊れたリンクが役に立たず、クロール可能性を損なっているということです.

特に最近サイトの移行、一括削除、または構造の変更を行った場合は、URL を再確認してください。また、古い URL または削除された URL にリンクしていないことを確認してください。

内部リンクのその他のベストプラクティスには、リンク可能なコンテンツを大量に用意する (コンテンツは常に王様です)、リンクされた画像の代わりにアンカーテキストを使用する、ページに「妥当な数」のリンクを使用する (それが何を意味するにせよ) などがあります。

そうそう、内部リンクにはフォローリンクを使用していることを確認してください。

3. サイトマップを Google に送信する

十分な時間があれば、Google はあなたのサイトをクロールします。それは素晴らしいことですが、待っている間は検索ランキングには貢献しません。

最近コンテンツに変更を加え、Google にすぐに知らせたい場合は、サイトマップを Google Search Console に送信することをお勧めします。

サイトマップは、ルートディレクトリにある別のファイルです。サイトのすべてのページへの直接リンクを備えた検索エンジンのロードマップとして機能します。

これは、Google が複数のページについて同時に学習できるため、インデックス可能性にとって有益です。クローラーは、ディープページを検出するために 5 つの内部リンクをたどる必要がある場合がありますが、XML サイトマップを送信すると、サイトマップファイルに 1 回アクセスするだけですべてのページを検出できます。

サイトマップを Google に送信すると、深いウェブサイトを持っている場合、新しいページやコンテンツを頻繁に追加する場合、またはサイトに適切な内部リンクがない場合に特に役立ちます。

4. Robots.txt ファイルを更新する

Web サイト用の robots.txt ファイルが必要になる場合があります。必須ではありませんが、99% の Web サイトが経験則として使用しています。これに慣れていない場合は、Web サイトのルートディレクトリにあるプレーンテキストファイルです。

検索エンジンのクローラーに、サイトをクロールする方法を伝えます。その主な用途は、ボットトラフィックを管理し、サイトがリクエストで過負荷にならないようにすることです。

これがクロール可能性の点で役立つのは、Google がクロールしてインデックスに登録するページを制限することです。たとえば、ディレクトリ、ショッピングカート、タグなどのページを Google のディレクトリに配置したくない場合があります。

もちろん、この便利なテキストファイルは、クロール可能性に悪影響を及ぼす可能性もあります。 robots.txt ファイルを調べて (または、自分の能力に自信がない場合は専門家に依頼して)、ページへのクローラーアクセスを誤ってブロックしていないかどうかを確認することをお勧めします。

robots.text ファイルでよくある間違いには次のようなものがあります。

robots.txt がルートディレクトリにありません。
ワイルドカードの使い方が悪い。
robots.txt にインデックスがありません。
ブロックされたスクリプト、スタイルシート、画像。
サイトマップ URL がありません。

これらの各問題の詳細な調査と、それらを解決するためのヒントについては、この記事をお読みください。

5.正規化を確認する

Canonical タグは、複数の URL からの信号を 1 つの正規 URL に統合します。これは、重複や古いバージョンをスキップしながら、必要なページをインデックスに登録するよう Google に指示するのに役立つ方法です。

しかし、これは不正な標準タグの扉を開きます。これらは、もはや存在しない古いバージョンのページを参照しているため、検索エンジンが間違ったページをインデックスに登録し、優先ページが表示されないままになっています。

この問題を解決するには、URL 検査ツールを使用して不正なタグをスキャンし、それらを削除します。

ウェブサイトが国際的なトラフィックを対象としている場合、つまり、さまざまな国のユーザーをさまざまな正規ページに誘導する場合は、言語ごとに正規タグを用意する必要があります。これにより、サイトで使用している各言語でページがインデックスされるようになります。

6. サイト監査を実施する

これらの他のすべての手順を実行したので、クロールとインデックス作成のためにサイトが最適化されていることを確認するために必要な最後の作業が 1 つあります。それは、サイトの監査です。まず、Google があなたのサイトのインデックスに登録したページの割合を確認します。

インデックス可能率を確認する

インデックス可能率は、Google のインデックスにあるページ数をウェブサイトのページ数で割ったものです。

「ページ」タブに移動し、CMS管理パネルからWebサイトのページ数を確認すると、GoogleサーチコンソールインデックスからGoogleインデックスにあるページ数を確認できます.

インデックスに登録したくないページがサイトにある可能性は十分にあるため、この数は 100% にはなりません。ただし、インデックス可能率が 90% を下回っている場合は、調査が必要な問題があります。

インデックスに登録されていない URL を Search Console から取得して、監査を実行できます。これは、問題の原因を理解するのに役立ちます。

Google Search Console に含まれるもう 1 つの便利なサイト監査ツールは、URL 検査ツールです。これにより、Google スパイダーが見ているものを確認できます。これを実際の Web ページと比較して、Google がレンダリングできないものを理解できます。

新しく公開されたページを監査する

新しいページを Web サイトに公開したり、最も重要なページを更新したりするときはいつでも、それらがインデックスに登録されていることを確認する必要があります。 Google Search Console にアクセスして、それらがすべて表示されていることを確認します。

それでも問題が解決しない場合は、監査により、SEO 戦略の他のどの部分が不十分であるかについての洞察も得られるため、二重のメリットになります。次のような無料のツールを使用して、監査プロセスを拡張します。

叫ぶカエル
セムラッシュ
ジップタイ
オンクロール
ルマー

7. 低品質または重複したコンテンツを確認する

Google があなたのコンテンツを検索者にとって価値があると見なさない場合、インデックスに登録する価値がないと判断する可能性があります。この薄っぺらいコンテンツは、よく知られているように、不適切に書かれたコンテンツ (たとえば、文法の間違いやスペルミスで埋め尽くされている)、サイトに固有ではないボイラープレートコンテンツ、またはその価値と権威について外部からの信号がないコンテンツである可能性があります。

これを見つけるには、サイトのどのページがインデックスに登録されていないかを特定し、それらのターゲットクエリを確認します。検索者の質問に対して質の高い回答を提供していますか? そうでない場合は、それらを交換または更新します。

重複したコンテンツは、サイトのクロール中にボットがハングアップするもう 1 つの理由です。基本的に、コーディング構造が混乱して、どのバージョンにインデックスを付けるかがわかりません。これは、セッション ID、冗長なコンテンツ要素、ページネーションの問題などが原因である可能性があります。

場合によっては、これにより Google Search Console でアラートがトリガーされ、Google が想定よりも多くの URL に遭遇していることがわかります。受け取っていない場合は、クロール結果をチェックして、タグの重複や欠落、またはボットの余分な作業を引き起こしている可能性のある余分な文字を含む URL などを確認してください。

タグを修正するか、ページを削除するか、Google のアクセスを調整して、これらの問題を修正してください。

8.リダイレクトチェーンと内部リダイレクトを排除する

ウェブサイトが進化するにつれて、リダイレクトは自然な副産物であり、訪問者をあるページからより新しい、またはより関連性の高いページに誘導します。しかし、これらはほとんどのサイトで一般的ですが、扱いを誤ると、自分のインデックス作成をうっかり妨害してしまう可能性があります。

リダイレクトを作成するときに犯す可能性のある間違いがいくつかありますが、最も一般的なものの 1 つはリダイレクトチェーンです。これらは、クリックされたリンクと宛先の間に複数のリダイレクトがある場合に発生します。 Google はこれを肯定的なシグナルとは見なしていません。

より極端なケースでは、ページが別のページにリダイレクトされ、別のページが別のページにリダイレクトされ、最終的に最初のページに戻るまで、リダイレクトループを開始する可能性があります。つまり、どこにも行かない終わりのないループを作成しました。

Screaming Frog、Redirect-Checker.org、または同様のツールを使用して、サイトのリダイレクトを確認します。

9.壊れたリンクを修正する

同様に、壊れたリンクはサイトのクロール性に大混乱をもたらす可能性があります。サイトを定期的にチェックして、壊れたリンクがないことを確認する必要があります。これは、SEO の結果を損なうだけでなく、人間のユーザーを苛立たせることにもなります。

サイト上の壊れたリンクを見つけるには、サイト上のすべてのリンク (ヘッダー、フッター、ナビゲーション、テキスト内など) を手動で評価する方法や、Google Search Console、Analytics、またはScreaming Frog で 404 エラーを見つけます。

壊れたリンクを見つけたら、それらを修正するための 3 つのオプションがあります: リダイレクト (警告については上記のセクションを参照)、更新、または削除です。

10.インデックスナウ

IndexNow は、API を介して検索エンジン間で同時に URL を送信できる比較的新しいプロトコルです。これは、新しい URL と Web サイトの変更について検索エンジンに警告することで、XML サイトマップを送信することのスーパーチャージバージョンのように機能します。

基本的に、それが行うことは、クローラーにサイトへのロードマップを事前に提供することです. ユーザーは必要な情報を持ってサイトにアクセスするため、サイトマップを常に再確認する必要はありません。また、XML サイトマップとは異なり、200 以外のステータスコードページについて検索エンジンに通知できます。

実装は簡単で、API キーを生成し、ディレクトリまたは別の場所でホストし、推奨される形式で URL を送信するだけです。

まとめ

ここまでで、Web サイトのインデックス可能性とクロール可能性について十分に理解できたはずです。また、これら 2 つの要素が検索ランキングにとってどれほど重要かを理解する必要があります。

Google のスパイダーがサイトをクロールしてインデックスに登録できる場合は、使用するキーワード、バックリンク、タグの数に関係なく、検索結果に表示されません.

そのため、サイトを定期的にチェックして、ボットのウェイレイ、誤解を招く、または誤った方向に向ける可能性のあるものがないかどうかを確認することが不可欠です.

ですから、良いツールセットを手に入れて始めましょう。細心の注意を払い、細心の注意を払うと、すぐに Google スパイダーがあなたのサイトにクモのように群がるようになります。

その他のリソース:

検索のインデックス化を改善するための 11 の SEO のヒントとコツ
検索エンジンのクロールとインデックスのしくみ: 知っておくべきことすべて
SEO 監査の実施方法: 究極のチェックリスト

主な画像：ローマン・サンボルスキー/シャッターストック