X-Robots-Tag HTTP ヘッダーについて知っておくべきこと

最も基本的な意味での検索エンジンの最適化は、何よりも 1 つのことに依存しています。それは、検索エンジンのスパイダーによるサイトのクロールとインデックス作成です。

しかし、ほぼすべての Web サイトには、この探索に含めたくないページがあります。

たとえば、プライバシー ポリシーや内部検索ページを Google の検索結果に表示したいですか?

最良のシナリオでは、これらはサイトへのトラフィックを積極的に誘導するために何もしていません。最悪の場合、より重要なページからトラフィックをそらす可能性があります.

幸いなことに、Google では、ウェブマスターが検索エンジンのボットに、クロールするページとコンテンツと無視するページを指示することを許可しています。 これにはいくつかの方法がありますが、最も一般的な方法は、robots.txt ファイルまたは meta robots タグを使用することです。

robots.txt の詳細については、優れた詳細な説明があります。ぜひお読みください。

ただし、大まかに言えば、Web サイトのルートに存在し、ロボット排除プロトコル (REP) に従うプレーン テキスト ファイルです。

robots.txt はサイト全体に関する指示をクローラーに提供し、メタ ロボット タグには特定のページへの指示が含まれます。

採用する可能性のあるメタ ロボット タグには、検索エンジンにページをインデックスに追加するように指示するindexが含まれます。 noindex : ページをインデックスに追加したり、検索結果に含めたりしないように指示します。 follow 、検索エンジンにページ上のリンクをたどるように指示します。 リンクをたどらないように指示するnofollow 、および他の多くのリンク。

robots.txt と meta robots タグはどちらもツールボックスに入れておくと便利なツールですが、検索エンジン ボットに noindex または nofollow を指示する別の方法もあります: X-Robots-Tagです。

X-Robots-Tag とは?

X-Robots-Tag は、スパイダーによる Web ページのクロール方法とインデックス作成方法を制御するもう 1 つの方法です。 URL への HTTP ヘッダー応答の一部として、ページ全体とそのページの特定の要素のインデックス作成を制御します。

メタ ロボット タグを使用するのはかなり簡単ですが、X-Robots-Tag はもう少し複雑です。

しかし、もちろん、これには次のような疑問が生じます。

X-Robots-Tag はいつ使用する必要がありますか?

Google によると、「robots メタ タグで使用できる任意のディレクティブは、X-Robots-Tag としても指定できます。」

メタ ロボット タグと X-Robots タグの両方を使用して、HTTP 応答のヘッダーに robots.txt 関連のディレクティブを設定できますが、X-Robots-Tag を使用する特定の状況があります。次の場合:

• 非 HTML ファイルのクロールとインデックス作成の方法を制御したい。
• ページ レベルではなく、サイト全体にディレクティブを提供したい。

たとえば、特定の画像や動画のクロールをブロックしたい場合は、HTTP 応答メソッドを使用すると簡単です。

X-Robots-Tag ヘッダーは、HTTP 応答内で複数のタグを組み合わせたり、ディレクティブのコンマ区切りリストを使用してディレクティブを指定したりできるため、便利です。

特定のページをキャッシュしたくない場合や、特定の日付以降は利用できないようにしたい場合があります。 「noarchive」タグと「unavailable_after」タグの組み合わせを使用して、検索エンジン ボットにこれらの指示に従うように指示できます。

基本的に、X-Robots-Tag の強みは、meta robots タグよりもはるかに柔軟であることです。

HTTP 応答でX-Robots-Tagを使用する利点は、正規表現を使用して非 HTML でクロール ディレクティブを実行できることと、より大きなグローバル レベルでパラメーターを適用できることです。

これらのディレクティブの違いを理解するには、タイプ別に分類すると役立ちます。 つまり、それらはクローラー ディレクティブですか、それともインデクサー ディレクティブですか?

説明するのに便利なチートシートを次に示します。

X-Robots-Tag はどこに付けますか?

特定のファイル タイプをブロックするとします。 理想的なアプローチは、X-Robots-Tag を Apache 構成または .htaccess ファイルに追加することです。

X-Robots-Tag は、.htaccess ファイルを介して、Apache サーバー構成でサイトの HTTP 応答に追加できます。

X-Robots-Tag の実例と使用法

理論的には素晴らしいように思えますが、現実の世界ではどのように見えるのでしょうか? 見てみましょう。

検索エンジンが .pdf ファイル タイプをインデックスに登録しないようにしたいとします。 Apache サーバーでのこの構成は、次のようになります。

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Nginx では、次のようになります。

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

では、別のシナリオを見てみましょう。 X-Robots-Tag を使用して、.jpg、.gif、.png などの画像ファイルのインデックス作成をブロックするとします。 以下のような X-Robots-Tag でこれを行うことができます。

 <ファイル ~ "\.(png|jpe?g|gif)$">
ヘッダー セット X-Robots-Tag "noindex"
</ファイル>

これらのディレクティブがどのように機能し、相互に与える影響を理解することは非常に重要です。

たとえば、クローラー ボットが URL を発見したときに X-Robots-Tag と meta robots タグの両方が見つかった場合はどうなるでしょうか?

その URL が robots.txt からブロックされている場合、特定のインデックス作成および配信ディレクティブを検出できず、従うことはありません。

ディレクティブに従う場合、それらを含む URL のクロールを禁止することはできません。

X-Robots-Tag を確認する

サイト上の X-Robots-Tag を確認するために使用できるいくつかの異なる方法があります。

確認する最も簡単な方法は、URL に関する X-Robots-Tag 情報を通知するブラウザ拡張機能をインストールすることです。

ロボット除外チェッカーのスクリーンショット、2022 年 12 月

たとえば、X-Robots-Tag が使用されているかどうかを判断するために使用できる別のプラグインは、Web 開発者プラグインです。

ブラウザでプラグインをクリックし、[View Response Headers] に移動すると、使用されているさまざまな HTTP ヘッダーを確認できます。

100 万ページの Web サイトの問題を特定するためにスケーリングに使用できる別の方法は、Screaming Frog です。

Screaming Frog でサイトを実行した後、「X-Robots-Tag」列に移動できます。

これにより、サイトのどのセクションがタグを使用しているかが、特定のディレクティブとともに表示されます。

Screaming Frog レポートのスクリーンショット。 X-Robot-Tag、2022 年 12 月

サイトで X-Robots-Tags を使用する

検索エンジンが Web サイトとどのように相互作用するかを理解し、制御することは、検索エンジン最適化の基礎です。 X-Robots-Tag は、まさにそのために使用できる強力なツールです。

注意してください: 危険がないわけではありません。 間違いを犯してサイト全体のインデックスを削除するのは非常に簡単です。

とはいえ、この記事を読んでいるあなたは、おそらく SEO の初心者ではないでしょう。 X-Robots-Tag を賢く使用し、時間をかけて作業をチェックする限り、X-Robots-Tag は武器庫に追加するのに役立つことがわかります。

その他のリソース:

• Google、新しい Robots タグでサイトのインデックス作成制御を強化
• Robots.txt に関する 6 つの一般的な問題とその修正方法
• 高度なテクニカル SEO: 完全ガイド

主な画像: Song_about_summer/Shutterstock