良いボット、悪いボット、そしてその間の厄介なボット

公開: 2017-06-16

過去18か月の間に、特定のeコマースWebサイトをターゲットとするインテリジェントWebボットの数が大幅に増加しました。少なくともこれらのボットは迷惑であり、最悪の場合、効果的にDDoS攻撃を引き起こし、Webサイトをダウンさせる可能性があります。

Webボットは長い間存在しており、私たち全員がそれらの多くから恩恵を受けています。優れたボット（GooglebotやBingbotなど）と、Webアプリケーションを自動的にハッキングしたりスパムをWebサイトに挿入しようとした不正なボットがあります。良いものは一般的に有益であり、悪いものは多くの場合、悪意のある要求を認識してそれらをブロックするWebアプリケーションファイアウォール（WAF）などのソリューションによって対処できます。

問題のあるボットは、多くの場合、善と悪の間に位置するボットです。これらは、通常のユーザーになりすまして、単独で、完全に安全で、合法で、一見無害に見える要求を行うことが多いため、検出が難しい場合があります。

通常、その意図はDDoS攻撃以外のものですが、攻撃的すぎる場合や、一度にWebサイトにアクセスするボットのインスタンスが多すぎる場合でも、効果が同じになることがあります。

これらのボットは、次のようなさまざまな理由で商業的に使用されています。

製品の自動購入（積極的な購入ボットは、製品の発売時に深刻なパフォーマンスの問題を引き起こす可能性があります）
コンテンツの集約（あなたのコンテンツは他人のコンテンツとして渡すことができます）
競合他社の価格分析（競合他社はこのデータを使用してあなたをアンダーカットすることができます）
アグレッシブなコンテンツのクロール（アグレッシブなクローラーはWebプラットフォームに負担をかける可能性があります）

オムニチャネルとマルチチャネル：違いは何ですか？誰がそれを行っていますか？

現在、ほとんどの小売業者はマルチチャネルであり、複数のチャネルで製品を販売しています。ただし、真にオムニチャネルであるものはごくわずかです。オムニチャネルビジネスと見なされることの意味を理解してください。

多くの問題を引き起こしている商用ボットの実例

非常に人気のある限定版の製品を販売することが多いクライアントがいます。これらの製品は、eBayで販売された場合、多くの場合RRPの3倍を取得でき、小売業者は販売する供給が限られています。これらの製品のほとんどは、世界規模で調整された発売を行っているため、発売の正確な時期はよく知られています。

過去18か月間、eコマースプラットフォームのパフォーマンスが大幅に低下する可能性がある範囲でこれらの製品を購入しようとする非常に攻撃的なボットが数千人で使用されることが増えています。

この例では、ボットはこの小売業者のWebサイト用に特別に設計されており、製品をバスケットに追加してチェックアウトを行うために必要な正確な要求を認識しています。製品の表示ページにアクセスする必要はありません。これらは通常、複数のクラウドサーバーに分散されており、各サーバーにボットの複数のインスタンスがインストールされています。起動時間は公開されて調整されているため、ボットはすべて、製品をバスケットに追加し、まったく同時に、通常は一度に何千ものチェックアウトを実行しようとします。

私たちが見た記録は、12時間の間に単一の製品を購入する300万回の試みです。

リクエストはすべて正当であり、ボットは実際のユーザーになりすましているため、実際のユーザーをブロックせずに被害を与える前に、ボットを十分に迅速にブロックするのは難しい場合があります。特定のIPが行ったリクエストの数を記録するために、1分間待つ意味はありません。その数が特定のしきい値を超えている場合は、それらをブロックします。この時点で、被害はすでに発生しており、チェックアウト時に同時に数万のボットが存在します。

ボットは実際のユーザーにも不利益をもたらします。ボットは、製品が公開されてから2番目に購入を開始するタイミングであるため、製品を入手するために最初にキューに入ることが保証されます。小売業者は明らかにまだ販売を獲得していますが、実際の忠実な顧客は常に失うため、これが原因でブランドの忠誠心を失う可能性があります。

チャットボットと会話型AIで未来に戻る

ねえ、マクフライ、未来はここにあります。会話型AIは、企業が顧客サービスや潜在顧客の問い合わせなど、顧客と向き合う会話やエンゲージメントを自動化するのに役立ちます。

では、良いボットと悪いボットをどのように管理しますか？

CDNなどの多くの組織は、小売業者が直面しているボットの問題の増加に対応して、昨年、ボット管理ソリューションを急速に開発してきました。アカマイのボットマネージャーソリューションなどの一部は、ボットを識別しようとする方法や、ボットの処理方法で小売業者に提供するオプションを使用して、非常に高度なものにすることができます。

ボットを単にブロックすることが必ずしも答えであるとは限りません。ブロックされていることがわかっている場合は、別のIPにジャンプするか、ボットマネージャーをだますために進化を試みることができます。

より良い解決策は、間違ったコンテンツ（おそらくより高い価格-競合他社の価格を分析するために使用されるボットの場合）を表示することによってボットをだますか、単に速度を落とすことです。 これは、クロールに積極的すぎるために有害なだけのボットに使用するのにも便利な手法です。 それらを完全にブロックしたくはありませんが、インフラストラクチャへの影響を減らすために、それらを少し遅くしたいと思います。

小売業におけるロボットとAI：知っておくべき8つのこと

「新しいコートをお願いします」と少し急いで店のロボットに言います。それはあなたがおしゃべりをする気がないことに気づき、木曜日の夜に暇がほとんどないことをすでに知っています。ロボットは、もちろんあなたの完璧なサイズで、すぐに3つのスタイリッシュなコートを提示します。数分後、…

ボットマネージャーソリューションは確かに便利なツールですが、すべてのボットを識別して停止する可能性は低く、上記の実際のインスタンスでは、ユーザーをボットとして識別する可能性があるときには、遅すぎる可能性があります。ダメージはすでに行われているでしょう。ボットは絶えず適応して進化し、ボットマネージャーがボットをブロックするのを防ぎます。そのため、ボットは動くターゲットです。

これらのボットを効果的に管理するためのソリューションは多面的です。すべてをキャッチし、必要なすべての制御を提供する単一のソリューションはありません。さまざまなサービスとソリューションにより、さまざまな種類のボットに対してさまざまな領域で保護が提供されます。複数の防御とソリューションを導入することによってのみ、これらのボットを効果的に管理できます。

ボット管理戦略を構築する際に考慮すべき4つの領域

CDNレイヤー

CDNは、悪意のあるトラフィックや厄介なトラフィックに対する最初の防衛線になります。理想的なCDN構成により、キャッシュ可能かどうかに関係なく、WebアプリケーションへのすべてのリクエストがCDNを介してフィルタリングされます。次に、WAF、ボットマネージャー、またはいくつかの基本的なレート制限ルールなど、CDNが提供するツールを使用して、最も明白なボットからWebサイトを保護できます。

WAFレイヤー

多くの小売業者は、CDNとホスティングインフラストラクチャの間にWAFレイヤーを配置しています。 Imperva WAFなどの高品質のWAFを使用して、多くの悪意のあるボットによるリクエストなどの悪意のあるリクエストを自動的に検出してブロックできます。さらに、カスタムルールを追加して、悪意はないが厄介なボットを認識してブロックまたは制限することができます。

アプリケーションキャッシングレイヤー

ファイアウォールとWebアプリケーションの間にあるVarnishなどのツールを実装すると、速度とパフォーマンスが向上するだけでなく、攻撃的なボットの影響を制限するためにも使用できます。特定のURLに対して行われるリクエストのレートを効果的に制限するために使用できる、多数のVarnishモジュール（Vmod）が利用可能です。

アプリケーション層

アプリケーションに変更を加えて、攻撃的または厄介なボットからアプリケーションを保護することができます。

たとえば、Google reCAPTCHAなどのシンプルなツールを適切なタイミングで使用したり、特定の商品を一度にバスケットに追加できるユーザーの数を制限したり、限定商品や限定商品を購入するためのラッフルなどのイニシアチブを導入したりできます。これらの製品は従来の方法では購入できず、ボットの成功を防ぐのに役立ちます。

それぞれがわずかに異なる方法でこれらのボットに対する防御を提供するため、ソリューションの1つだけに依存するのではなく、上記のソリューションの一部またはすべてを実装することを検討することが重要です。

たとえば、ボットの購入を防ぐために単にアプリケーションの変更に依存した場合でも、ボットはインフラストラクチャの残りの部分を攻撃し、サーバーがディスク領域を使い果たす可能性がある範囲でApacheまたはVarnishログファイルを埋めるなどの問題を引き起こします。

ロボットはここにとどまります：RPAの利点を学びましょう

ロボットプロセス自動化のビジネス上の利点には、デジタル化、コスト削減、生産性の向上などがあります。 RPAも簡単に使用できます。

良いボットと悪いボット：兆候を無視しないでください

要約すると、ボットはeコマース小売業者にとってますます商業的な脅威になりつつあり、ボットを効果的に処理することは非常に複雑になる可能性があります。実際に人間とボットのWebトラフィックの量の見積もりは異なりますが、一般的なコンセンサスは、すべてのWebトラフィックの最大50％がボットによって生成されるというものです。

この数と、使用する帯域幅と容量の量、およびそのボットトラフィックの約50％が「悪意のある」または悪意のあるボットからのものであるという事実を考慮すると、小売業者は無視すべきものではありません。