Gute Bots, schlechte Bots und die lästigen dazwischen

In den letzten 18 Monaten haben wir einen deutlichen Anstieg der Anzahl intelligenter Web-Bots festgestellt, die auf bestimmte E-Commerce-Websites abzielen. Zumindest sind diese Bots ein Ärgernis, und im schlimmsten Fall können sie effektiv einen DDoS-Angriff verursachen und eine Website lahmlegen.

Webbots gibt es schon lange und wir alle profitieren von vielen von ihnen. Es gibt gute Bots (wie Googlebot oder Bingbot) und es gibt schlechte Bots, die automatisch versuchen, eine Webanwendung zu hacken oder Spam in Websites einzuschleusen. Die guten sind im Allgemeinen von Vorteil, und die schlechten können oft mit einer Lösung wie einer Web Application Firewall (WAF) behandelt werden, die böswillige Anfragen erkennt und blockiert.

Die problematischen Bots sind oft diejenigen, die zwischen Gut und Böse liegen. Diese können schwer zu erkennen sein, da sie sich oft als normaler Benutzer ausgeben und Anfragen stellen, die für sich genommen und isoliert absolut sicher, legitim und scheinbar harmlos sind.

Obwohl ihre Absicht normalerweise etwas anderes als ein DDoS-Angriff ist, kann der Effekt manchmal derselbe sein, wenn sie entweder zu aggressiv sind oder zu viele Instanzen eines Bots gleichzeitig eine Website treffen.

Diese Bots werden aus einer Reihe von Gründen kommerziell genutzt, darunter:

1. Automatischer Kauf von Produkten (aggressive Kauf-Bots können bei Produkteinführungen zu schwerwiegenden Leistungsproblemen führen)

2. Aggregation von Inhalten (Ihre Inhalte können als die von jemand anderem ausgegeben werden)

3. Wettbewerberpreisanalyse (Mitbewerber können diese Daten nutzen, um Sie zu unterbieten)

4. Aggressives Crawlen von Inhalten (aggressive Crawler können Ihre Webplattform belasten)

Reales Beispiel eines kommerziellen Bots, der viele Probleme verursacht

Wir haben einen Kunden, der häufig Produkte in limitierter Auflage verkauft, die sehr begehrt sind. Diese Produkte können oft das Dreifache des UVP erzielen, wenn sie bei eBay verkauft werden, und der Einzelhändler hat nur eine begrenzte Menge zu verkaufen. Die meisten dieser Produkte haben eine koordinierte weltweite Markteinführung und daher ist der genaue Zeitpunkt der Markteinführung gut bekannt.

In den letzten 18 Monaten haben wir zunehmend extrem aggressive Bots gesehen, die zu Tausenden eingesetzt wurden, um zu versuchen, diese Produkte in einem Ausmaß zu kaufen, bei dem die Leistung der E-Commerce-Plattform ernsthaft beeinträchtigt werden kann.

In diesem Fall wurden die Bots speziell für die Website dieses Einzelhändlers entwickelt und kennen die genauen Anforderungen, die gestellt werden müssen, um das Produkt in den Warenkorb zu legen und zur Kasse zu gehen. Sie müssen nicht einmal die Produktanzeigeseite besuchen. Sie sind normalerweise auf mehrere Cloud-Server verteilt, wobei auf jedem Server mehrere Instanzen des Bots installiert sind. Da die Startzeit öffentlich und koordiniert ist, versuchen alle Bots, das Produkt genau zur gleichen Zeit in den Warenkorb zu legen und die Kasse zu durchlaufen, normalerweise viele Tausende auf einmal.

Der Rekord, den wir gesehen haben, liegt bei 3 Millionen Versuchen, ein einzelnes Produkt in einem Zeitraum von 12 Stunden zu kaufen.

Da die Anfragen alle legitim sind und der Bot sich als echter Benutzer ausgibt, kann es schwierig sein, die Bots schnell genug zu blockieren, bevor sie den Schaden anrichten, ohne echte Benutzer zu blockieren. Es hat keinen Sinn, 1 Minute zu warten, um aufzuzeichnen, wie viele Anfragen eine bestimmte IP gestellt hat, und wenn die Anzahl über einem bestimmten Schwellenwert liegt, blockieren Sie sie dann. Zu diesem Zeitpunkt ist der Schaden bereits angerichtet und Sie haben Zehntausende von Bots gleichzeitig in Ihrer Kasse.

Die Bots benachteiligen auch echte Benutzer, da Sie garantieren können, dass die Bots die ersten in der Warteschlange sind, um die Produkte zu erhalten, da sie zeitlich so festgelegt sind, dass sie mit dem Kauf beginnen, sobald die Produkte live gehen. Obwohl der Einzelhändler offensichtlich immer noch den Verkauf erhält, kann er dadurch die Markentreue verlieren, da echte und treue Kunden immer verlieren werden.

Wie verwaltet man also gute Bots und schlechte Bots?

Viele Organisationen, wie z. B. CDNs, haben im letzten Jahr als Reaktion auf die zunehmenden Probleme mit Bots, mit denen Einzelhändler konfrontiert sind, schnell Bot-Management-Lösungen entwickelt. Einige, wie die Bot-Manager-Lösung von Akamai, können sehr ausgefeilt sein in der Art und Weise, wie sie versuchen, einen Bot zu identifizieren, sowie in Bezug auf die Optionen, die sie dem Einzelhändler im Umgang mit dem Bot bieten.

Einfach den Bot zu blockieren ist nicht immer die Lösung. Wenn sie wissen, dass sie blockiert wurden, können sie einfach zu einer anderen IP springen oder versuchen, sich weiterzuentwickeln, um den Bot-Manager zu täuschen.

Eine bessere Lösung besteht darin, den Bot zu täuschen, indem er ihm falsche Inhalte anzeigt (möglicherweise höhere Preise – im Falle eines Bots, der zur Analyse der Preise von Wettbewerbern verwendet wird) oder ihn einfach verlangsamt. Dies ist auch eine nützliche Technik für Bots, die nur schädlich sind, weil sie beim Crawlen zu aggressiv sind. Sie möchten sie nicht vollständig blockieren, aber Sie möchten sie ein wenig verlangsamen, um die Auswirkungen auf Ihre Infrastruktur zu verringern.

Obwohl eine Bot-Manager-Lösung sicherlich ein nützliches Tool ist, ist es unwahrscheinlich, dass sie alle Bots identifiziert und stoppt, und in der oben beschriebenen realen Situation kann es zu spät sein, wenn sie den Benutzer möglicherweise als Bot identifiziert der Schaden wäre bereits angerichtet. Bots werden sich ständig anpassen und weiterentwickeln, um zu verhindern, dass Bot-Manager sie blockieren, und so ist es ein sich bewegendes Ziel.

Die Lösung zur effektiven Verwaltung dieser Bots ist vielfältig. Es gibt keine einzige Lösung, die alles erfasst und Ihnen die Kontrolle gibt, die Sie brauchen. Verschiedene Dienste und Lösungen bieten in verschiedenen Bereichen Schutz vor verschiedenen Arten von Bots. Nur durch den Einsatz mehrerer Abwehrmechanismen und Lösungen können Sie diese Bots effektiv verwalten.

4 Bereiche, die beim Aufbau einer Bot-Management-Strategie zu berücksichtigen sind

CDN-Schicht

Ein CDN kann eine erste Verteidigungslinie gegen böswilligen oder störenden Datenverkehr sein. Die ideale CDN-Konfiguration stellt sicher, dass alle Anfragen an Ihre Webanwendung, ob zwischenspeicherbar oder nicht, durch das CDN gefiltert werden. Sie können dann Tools verwenden, die das CDN bereitstellt, wie z. B. eine WAF, einen Bot-Manager oder sogar einige grundlegende Ratenbegrenzungsregeln, um Ihre Website vor den offensichtlichsten Bots zu schützen.

WAF-Schicht

Viele Einzelhändler haben eine WAF-Schicht zwischen ihrem CDN und ihrer Hosting-Infrastruktur. Eine hochwertige WAF, wie z. B. Imperva WAF, kann verwendet werden, um böswillige Anfragen, wie sie von vielen bösartigen Bots stammen, automatisch zu erkennen und zu blockieren. Darüber hinaus können benutzerdefinierte Regeln hinzugefügt werden, um Bots zu erkennen und zu blockieren oder einzuschränken, die nicht bösartig sind, aber Probleme bereiten können.

Anwendungs-Caching-Schicht

Die Implementierung eines Tools wie Varnish, das sich zwischen Ihrer Firewall und Ihrer Webanwendung befindet, kann nicht nur die Geschwindigkeit und Leistung verbessern, sondern auch dazu verwendet werden, die Auswirkungen aggressiver Bots zu begrenzen. Es stehen eine Reihe von Varnish-Modulen (Vmods) zur Verfügung, mit denen die Anzahl der Anfragen an bestimmte URLs effektiv begrenzt werden kann.

Anwendungsschicht

An Ihrer Anwendung können Änderungen vorgenommen werden, um sie vor aggressiven oder störenden Bots zu schützen.

Zum Beispiel die Verwendung einfacher Tools wie Google reCAPTCHA zu relevanten Zeiten, die Begrenzung der Anzahl der Benutzer, die ein bestimmtes Produkt gleichzeitig in ihren Warenkorb legen können, oder sogar die Einführung von Initiativen wie einer Verlosung für den Kauf von exklusiven und limitierten Produkten damit Diese Produkte, die nicht auf herkömmliche Weise gekauft werden können, werden dazu beitragen, den Erfolg der Bots zu verhindern.

Es ist wichtig, in Betracht zu ziehen, einige oder alle der oben genannten Lösungen zu implementieren, anstatt sich nur auf eine davon zu verlassen, da jede auf etwas andere Weise Abwehr gegen diese Bots bietet.

Wenn Sie sich beispielsweise einfach auf eine Anwendungsänderung verlassen haben, um den Kauf von Bots zu verhindern, werden sie immer noch den Rest Ihrer Infrastruktur hämmern und sogar Probleme verursachen, wie das Füllen von Apache- oder Varnish-Protokolldateien in einem Ausmaß, dass Ihrem Server der Speicherplatz ausgehen könnte.

Guter Bot vs. böser Bot: Ignorieren Sie die Anzeichen nicht

Zusammenfassend lässt sich sagen, dass Bots zu einer zunehmenden kommerziellen Bedrohung für E-Commerce-Einzelhändler werden, und der effektive Umgang mit ihnen kann sehr komplex sein. Schätzungen darüber, wie viel Web-Traffic tatsächlich von Menschen im Vergleich zu Bots stammt, variieren, aber der allgemeine Konsens ist, dass bis zu 50 % des gesamten Web-Traffics von Bots generiert wird.

Wenn Sie diese Zahl und die Menge an Bandbreite und Kapazität berücksichtigen, die sie verwenden werden, und die Tatsache, dass etwa 50 % dieses Bot-Verkehrs von „schlechten“ oder böswilligen Bots stammen, sollte kein Einzelhändler dies ignorieren.