Googleはrobots.txtにnoindexサポートを追加する必要がありますか？ 投票結果

9月に、私はここSearch Engine Landに投票を行い、読者がrobots.txtでページにインデックスなしのマークを付けるように指示するかどうかを確認しました。 今日は、主要な問題が何であるか（そして、Googleがこれに対するサポートを追加しない理由）のレビューとともに結果を提示します。

• なぜこれが興味深いのでしょうか？
• このアイデアの欠点は何ですか？
• 全体的なrobots.txtの投票結果

なぜこれが興味深いのでしょうか？

現在の環境では、robots.txtはWebクロールの動作をガイドするためだけに使用されます。 さらに、ページを「NoIndex」とマークする現在のアプローチは、ページ自体にタグを配置することです。 残念ながら、robots.txtでブロックすると、Googleはタグを認識せず、そのようなことを望まない場合でも、ページのインデックスを作成できる可能性があります。

大規模なサイトでは、クロールをブロックし、Googleインデックスから除外したいさまざまなクラスのページがある場合、これにはいくつかの課題があります。 これが発生する可能性のある1つの方法は、複雑なファセットナビゲーションの実装で、ユーザーにとって重要な価値のあるページを作成しても、Googleに表示するページが多すぎる場合です。 たとえば、ある靴の小売業者のWebサイトを調べたところ、「メンズナイキシューズ」に関連する70,000を超えるさまざまなページがあることがわかりました。 これには、さまざまなサイズ、幅、色などが含まれます。

上記で共有した例のように、複雑なファセットナビゲーションを備えたサイトで参加したいくつかのテストでは、この大量のページが重大な問題であることがわかりました。 これらのテストの1つでは、クライアントと協力してファセットナビゲーションのほとんどをAJAXに実装したため、ファセットナビゲーションページのほとんどの存在はGoogleには表示されませんでしたが、ユーザーは簡単にアクセスできました。 このサイトのページ数は2億ページから20万ページになり、1,000対1の削減になりました。 翌年、サイトへのトラフィックは3倍になり、驚くほど良い結果が得られました。 ただし、最初はトラフィックが減少し、以前のレベルに戻るまでに約4か月かかり、その後上昇しました。

別のシナリオでは、サイトが新しいeコマースプラットフォームを実装し、そのページ数が約5,000ページから100万ページ以上に急増したのを見ました。 彼らのトラフィックは急落し、私たちは彼らの回復を助けるために連れてこられました。 修正？ インデックス可能なページカウントを以前の場所に戻すには。 残念ながら、これはNoIndexやCanonicalタグなどのツールを使用して行われたため、回復の速度は、Googleがサイト上のかなりの数のページに再度アクセスするのにかかった時間に大きく影響されました。

どちらの場合も、関係する企業の結果は、Googleのクロール予算と、サイトの新しい構造を完全に理解するのに十分なクロールを完了するのにかかった時間に基づいていました。 Robots.txtに命令があると、これらのタイプのプロセスが急速に高速化されます。

このアイデアの欠点は何ですか？

これについて、Ahrefsの製品アドバイザー兼ブランドアンバサダーであるPatrick Stoxと話し合う機会がありました。彼の簡単な説明は、次のとおりです。 Googleは、クロール制御のみにrobots.txtが必要であることを明確にしました。 最大の欠点は、おそらくサイト全体を誤ってインデックスから外してしまったすべての人です。」

そしてもちろん、サイト全体（またはサイトの主要部分）がインデックスから削除されるというこの問題は、それに関する大きな問題です。 Webの全範囲にわたって、これが発生するかどうかを疑う必要はありません。発生するでしょう。 悲しいことに、それはいくつかの重要なサイトで発生する可能性があり、残念ながら、それはおそらく多く発生するでしょう。

20年間のSEOの経験から、さまざまなSEOタグの使用方法についての誤解が蔓延していることがわかりました。 たとえば、Google Authorshipが重要であり、rel = authorタグがあった当時、サイトがそれらをどの程度適切に実装しているかを調査したところ、72％のサイトがタグを誤って使用していたことがわかりました。 これには、業界で非常によく知られているサイトが含まれています。

Stoxとの話し合いの中で、彼はさらに次のように述べています。「さらに欠点を考えると、robots.txtファイルが一時的に利用できない場合の対処方法を理解する必要があります。 以前にnoindexとマークされていたページのインデックス作成を突然開始しますか？」

また、コメントを求めてGoogleに連絡しました。また、2014年にrobots.txtでnoindexのサポートを終了したときに、彼らのブログ投稿を指摘されました。この問題についての投稿の内容は次のとおりです。

「パーサーライブラリをオープンソーシングしている間、robots.txtルールの使用法を分析しました。 特に、crawl-delay、nofollow、noindexなど、インターネットドラフトでサポートされていないルールに焦点を当てました。 これらのルールはGoogleによって文書化されたことがないため、当然、Googlebotに関連するルールの使用は非常に少ないです。 さらに掘り下げてみると、インターネット上のすべてのrobots.txtファイルの0.001％を除くすべてで、それらの使用法が他のルールと矛盾していることがわかりました。 これらの間違いは、ウェブマスターが意図したとは思わない方法で、Googleの検索結果におけるウェブサイトの存在を傷つけます。 「「
※強調のため、最後の文を太字にしました。

これがここでの原動力だと思います。 グーグルはそのインデックスの品質を保護するために行動し、良い考えのように見えるかもしれないものは多くの意図しない結果をもたらす可能性があります。 個人的には、NoCrawlとNoIndexの両方のページに明確で簡単な方法でマークを付ける機能が欲しいのですが、問題の真実は、それが起こるとは思わないということです。

全体的なrobots.txtの投票結果

まず、質問1に「はい」と答えたと仮定した、必須の質問である質問2の調査の欠陥を認めたいと思います。 ありがたいことに、質問1で「いいえ」と答えたほとんどの人は、質問2で「その他」をクリックしてから、この機能が必要ない理由を入力しました。 それらの回答の1つは、この欠陥を指摘し、「あなたの世論調査は誤解を招くものです」と述べました。 そこに欠陥があることをお詫びします。

全体的な結果は次のとおりです。

合計87人の回答者の84％が「はい」と答え、この機能を望んでいます。 この機能が必要な理由のいくつかは次のとおりです。

• クロールをブロックしたいが、ページにインデックスを付けたいという状況はありません。
• Googleはnoindexを表示するためにページをクロールする必要があるため、多数のページのnoindexingには多くの時間がかかります。 noindexディレクティブを使用すると、インデックスが過剰な問題を抱えているクライアントに対してより迅速な結果を得ることができました。
• 非常に大きな問題があります…非常に古いコンテンツ…何百もの古いディレクトリとサブディレクトリ。削除して404を削除すると、インデックスの解除に数年とは言わないまでも数か月かかります。 robots.txtファイルにNoIndexルールを追加するだけで、Googleは古いURLをすべてクロールするよりもはるかに迅速にこの指示に従うと信じているようです。繰り返し、404を繰り返して最終的に削除する必要があります。 、ドメインのクリーンアップはそれが役立つ1つの方法です。
• 開発の労力を節約し、変更のために何かが壊れた場合に簡単に調整可能
• 常に「noindex」を使用できるとは限らず、インデックス付けされるべきではないインデックス付けされたページが多すぎます。 スパイダーの標準的なブロックも、少なくともページを「インデックスなし」にする必要があります。 検索エンジンがURL/フォルダーをクロールしないようにしたい場合、なぜこれらの「空の」ページにインデックスを付けたいのでしょうか。
• .txtファイルに新しい命令を追加する方が、開発リソースを取得するよりもはるかに高速です。
• はい、エンタープライズCRMのメタを変更するのは難しいので、robots.txtの個々のnoindex機能でその問題を解決できます。
• より速く、問題の少ないサイトインデックスブロック:)

含まれていないと言う他の理由：

• Noindexタグで十分です
• robots.txtファイルの新しいディレクティブは必要ありません
• 私はそれを必要とせず、それが機能しているのを見ません
• 気にしないでください
• 変えないで

概要

そこにあります。 この投票に回答したほとんどの人は、この機能を追加することに賛成です。 ただし、SELの読者は、平均的なWebマスターよりもはるかに多くの理解と専門知識を備えた、非常に知識の豊富な対象者で構成されていることに注意してください。 さらに、世論調査で受け取った「はい」の回答の中にさえ、現在のシステムの仕組みの誤解を示す質問4（「この機能はSEOとしてあなたに利益をもたらしますか？もしそうなら、どのように」）に対するいくつかの回答がありました。

結局のところ、私は個人的にこの機能が欲しいのですが、それが起こる可能性は非常に低いです。

この記事で表明された意見はゲスト著者の意見であり、必ずしも検索エンジンランドではありません。 スタッフの作者はここにリストされています。