Google Answers：これはクローキングですか？

GoogleのJohnMuellerは、広告ブロック防止機能からGoogleをブロックすると、Googleがページをクローキングと見なすかどうかを尋ねられました。 ミューラーは、クローキングとは何か、そして広告ブロッカー検出スクリプトからGoogleをブロックすることがクローキングではない理由を説明します。

クローキングはGoogleのガイドラインに違反します

クローキングは、サイト訪問者が検索エンジンボットであるか通常の人間ユーザーであるかに応じて、Webページに異なるコンテンツが表示される古いトリックです。

非常に昔は、ページにキーワードを複数回追加すると、そのページのランクが上がる可能性がありました。 それは「キーワードスパム」と呼ばれていました。

しかし、ページは本当にひどく信頼できないように見え、訪問者はアフィリエイトリンクをクリックしてサイト所有者に紹介料を稼ぐよりもそのページから撤退する傾向がありました。

したがって、スパマーが行ったことは、検索エンジンにキーワードでいっぱいのページを表示して、ランク付けを支援することでした。

しかし、人間のユーザーにとっては、Webページは、スパムのように見えなかったため、より適切に変換される、正常で正常なページを表示します。

Google Search Centralガイドラインは、クローキングとは何かを理解するのに役立つ次の例を提供します。

「ユーザーに画像のページを表示しながら、検索エンジンにHTMLテキストのページを提供する

ページを要求しているユーザーエージェントが検索エンジンであり、人間の訪問者ではない場合にのみ、テキストまたはキーワードをページに挿入します。」

広告ブロッカーはクローキングを引き起こす可能性がありますか？

質問をしている人は、彼らが彼らのサイトにアンチ広告ブロッカーを追加することを考えていると言いました。 アンチ広告ブロッカーは、ブロッカーを使用する訪問者がコンテンツを見るのをブロックします。

目標は、訪問者がコンテンツと広告を見ることができるように、Webサイトをホワイトリストに登録するように訪問者をトレーニングすることです。

これが質問です：

「広告ブロッカーがオンになっているときにユーザーがサイトにアクセスできないようにするために、広告ブロッカー検出の追加を検討しているサイトがあります。

ここでの問題は、Googlebotを広告ブロックの検出から除外することにした場合、その状況でクローキングのフラグが立てられるかどうかです。」

説明されている状況は、実際にはユーザーとGoogleに異なるコンテンツを表示することではありません。

これは、実際には2セットのユーザー/サイト訪問者ステータスを作成することです（Webページを実行する人の管理者ステータスに加えて）。

広告ブロッカーのない訪問者は、コンテンツを読む権利を与えるより高い特権を持っています。

広告ブロッカーを有効にしている訪問者は、コンテンツを読む機会を奪う特権が少なくなります。

状況がクローキングに相当する場合、ジョン・ミューラーは次のように答えました。

「おそらくそうではありません。 一般的にはそれでいいと思います。

Googlebotに実際に広告ブロッカーがインストールされていないことを認識する方法としてそれを見ると思います。

つまり、ページのレンダリングに関してGooglebotが持っているユニークな設定のようなものであり、それで問題ないと思います。」

Muellerは、これを人間とGooglebotに異なるコンテンツを表示しているとは見なしていませんでした。 グーグルには広告ブロッカーがないので、コンテンツを見る資格があるので、彼はそれを見ました。

ジョンは、クローキングについてさらに説明することでフォローアップしました。

「クローキングに関しては、クローキングチームは主に、Googlebotに関してユーザーに実際に異なる何かを見せている状況に注意しようとします。

そして、広告のブロックや…実際にコンテンツを見るにはログインしなければならないようなものに関しては、それはちょっと違います。」

ミューラーは、「広告ブロック防止の設定」のファンではないことを指摘しましたが、サイトがそれを行う必要がある場合は、それが「適切なアプローチ」であることを認めました。

次に質問をする人は、コンテンツの上に広告ブロックオーバーレイをGoogleに配信すると、インデックス作成の問題が発生するかどうかを尋ねました。

ミューラー：

「既存のページの上にHTMLオーバーレイがある場合、その背後にあるHTMLの実際のコンテンツが引き続き表示されるため、問題があるとは思われません。

これは、基本的にページの上部にHTMLdivのみを表示しているCookieバナーまたはCookieインタースティシャルがある場合と似ています。

私たちの観点からすると、ページから実際のコンテンツにインデックスを付けることができれば、それで問題ありません。」

クローキングとGoogle

クローキングは、検索エンジンのランキングを向上させる目的で、Googleやサイトの訪問者を欺くという明確な意図を持った非常に特殊なものです。

サイト訪問者がステータスまたはユーザー特権に基づいて表示できる内容に基づいて異なるコンテンツを表示することは、まったく別のことです。

ニュース組織は、定期的に有料の訪問者と購読していない訪問者を区別し、2つのクラスのサイト訪問者を作成します。

フォーラムソフトウェアは、検索エンジン（および未登録のサイト訪問者）がユーザープロファイルを表示できないようにするのと同様のことを行います。

どちらの場合も、さまざまなサイト訪問者クラスを作成し、それらがどのように分類されているかに基づいてさまざまなものを表示することです。

クローキングとは、ランキングの目的で検索エンジンに独自のコンテンツを表示することです。これはまったく異なるものです。

引用

19:46分のスポットにあるGoogleSEOの営業時間のたまり場をご覧ください。