Robot buoni, robot cattivi e quelli fastidiosi nel mezzo

Negli ultimi 18 mesi abbiamo assistito a un aumento significativo del numero di web-bot intelligenti che prendono di mira specifici siti di e-commerce. Per lo meno questi bot sono un fastidio e, nel peggiore dei casi, possono effettivamente causare un attacco DDoS e distruggere un sito Web.

I web bot sono in circolazione da molto tempo e tutti noi ne traiamo vantaggio. Ci sono bot buoni (come Googlebot o Bingbot) e ci sono bot cattivi che tentano automaticamente di hackerare un'applicazione web o iniettare spam nei siti web. Quelli buoni sono generalmente utili e quelli cattivi possono essere spesso gestiti da una soluzione come un Web Application Firewall (WAF) che riconoscerà le richieste dannose e le bloccherà.

I robot problematici sono spesso quelli che si trovano tra il bene e il male. Questi possono essere difficili da rilevare, poiché spesso impersoneranno un utente normale e faranno richieste che, da sole e isolatamente, sono perfettamente sicure, legittime e apparentemente innocue.

Sebbene la loro intenzione sia normalmente qualcosa di diverso da un attacco DDoS, l'effetto a volte può essere lo stesso quando sono troppo aggressivi o troppe istanze di un bot colpiscono un sito Web contemporaneamente.

Questi robot vengono utilizzati commercialmente per una serie di motivi, tra cui:

1. Acquisto automatico dei prodotti (i robot di acquisto aggressivi possono causare gravi problemi di prestazioni durante il lancio dei prodotti)

2. Aggregazione di contenuti (i tuoi contenuti possono essere spacciati per quelli di qualcun altro)

3. Analisi dei prezzi dei concorrenti (i concorrenti possono utilizzare questi dati per sottostimarti)

4. Scansione aggressiva dei contenuti (i crawler aggressivi possono mettere a dura prova la tua piattaforma web)

Esempio reale di un bot commerciale che causa molti problemi

Abbiamo un cliente che vende spesso prodotti in edizione limitata molto ricercati. Questi prodotti possono spesso raggiungere 3 volte il prezzo consigliato se venduti su eBay e il rivenditore avrà solo una scorta limitata da vendere. La maggior parte di questi prodotti ha un lancio coordinato a livello mondiale e quindi l'ora esatta del lancio è ben nota.

Negli ultimi 18 mesi, abbiamo visto sempre più bot estremamente aggressivi utilizzati in migliaia di utenti per tentare di acquistare questi prodotti in una misura in cui le prestazioni della piattaforma di e-commerce possono essere seriamente compromesse.

In questo caso, i bot sono stati progettati specificatamente per il sito Web di questo rivenditore e conoscono le richieste esatte che devono essere fatte per aggiungere il prodotto al carrello ed eseguire il checkout. Non hanno nemmeno bisogno di visitare la pagina di visualizzazione del prodotto. Sono normalmente distribuiti su più server cloud con più istanze del bot installate su ciascun server. Poiché l'ora di lancio è pubblica e coordinata, i bot iniziano tutti a tentare di aggiungere il prodotto al carrello ed eseguire il checkout esattamente nello stesso momento, normalmente molte migliaia contemporaneamente.

Il record che abbiamo visto è di 3 milioni di tentativi di acquisto di un singolo prodotto in un periodo di 12 ore.

Poiché le richieste sono tutte legittime e il bot sta impersonando un utente reale, può essere difficile bloccare i bot abbastanza rapidamente prima che facciano il danno senza bloccare gli utenti reali. Non ha senso aspettare 1 minuto per registrare quante richieste ha fatto un determinato IP e, se il numero supera una certa soglia, le blocchi. A questo punto, il danno è già stato fatto e hai decine di migliaia di bot contemporaneamente alla cassa.

I bot svantaggiano anche gli utenti reali, poiché puoi garantire che i bot saranno i primi nella coda per ottenere i prodotti, poiché sono programmati per iniziare ad acquistare nel momento in cui i prodotti saranno pubblicati. Sebbene il rivenditore ovviamente ottenga ancora la vendita, può perdere la fedeltà al marchio a causa di ciò poiché i clienti reali e fedeli perderanno sempre.

Quindi, come gestisci i robot buoni e quelli cattivi?

Molte organizzazioni, come le CDN, hanno sviluppato rapidamente soluzioni di gestione dei bot nell'ultimo anno in risposta ai crescenti problemi con i bot che i rivenditori devono affrontare. Alcuni, come la soluzione di gestione dei bot di Akamai, possono essere molto sofisticati nel modo in cui tentano di identificare un bot, nonché con le opzioni che offrirà al rivenditore nel modo in cui gestiscono il bot.

Il semplice blocco del bot non è sempre la risposta. Se sanno di essere stati bloccati, possono semplicemente passare a un altro IP o provare a evolversi per ingannare il bot manager.

Una soluzione migliore è ingannare il bot mostrandogli il contenuto sbagliato (magari prezzi più alti, nel caso di un bot utilizzato per analizzare i prezzi della concorrenza) o semplicemente rallentandolo. Questa è anche una tecnica utile da utilizzare per i bot che sono dannosi solo perché sono troppo aggressivi nella loro scansione. Non vuoi bloccarli del tutto, ma vuoi rallentarli un po' per ridurre l'impatto sulla tua infrastruttura.

Sebbene una soluzione di gestione dei bot sia certamente uno strumento utile, è improbabile che identifichi e fermi tutti i bot e, nel caso reale descritto sopra, nel momento in cui potrebbe identificare l'utente come un bot, potrebbe essere troppo tardi poiché il danno sarebbe già stato fatto. I bot si adatteranno e si evolveranno costantemente per impedire ai gestori di bot di bloccarli e quindi è un bersaglio mobile.

La soluzione per gestire efficacemente questi bot è multiforme. Non esiste una soluzione unica che catturi tutto e ti dia tutto il controllo di cui hai bisogno. Diversi servizi e soluzioni forniranno protezione in diverse aree contro diversi tipi di bot. Solo implementando più difese e soluzioni puoi gestire efficacemente questi bot.

4 aree da considerare quando si costruisce una strategia di gestione dei bot

strato CDN

Una CDN può essere una prima linea di difesa contro il traffico dannoso o problematico. La configurazione ideale della CDN garantisce che tutte le richieste alla tua applicazione Web, memorizzabili nella cache o meno, vengano filtrate attraverso la CDN. Puoi quindi utilizzare gli strumenti forniti dalla CDN come un WAF, un bot manager o anche alcune regole di limitazione della velocità di base per proteggere il tuo sito Web dai bot più evidenti.

Strato WAF

Molti rivenditori hanno uno strato WAF che si trova tra la loro CDN e la loro infrastruttura di hosting. Un WAF di alta qualità, come Imperva WAF, può essere utilizzato per rilevare e bloccare automaticamente richieste dannose come quelle fatte da molti bot dannosi. Inoltre, è possibile aggiungere regole personalizzate per riconoscere e bloccare o limitare quei bot che non sono dannosi ma possono essere problematici.

Livello di memorizzazione nella cache dell'applicazione

L'implementazione di uno strumento come Varnish che si trova tra il firewall e l'applicazione Web non solo può migliorare la velocità e le prestazioni, ma può anche essere utilizzato per limitare l'impatto di bot aggressivi. Sono disponibili numerosi moduli Varnish (Vmods) che possono essere utilizzati per limitare efficacemente il tasso di richieste effettuate a URL specifici.

Livello di applicazione

È possibile apportare modifiche alla tua applicazione per proteggerla da bot aggressivi o fastidiosi.

Ad esempio, utilizzando strumenti semplici come Google reCAPTCHA in momenti rilevanti, limitando il numero di utenti che possono aggiungere un prodotto specifico al proprio carrello in qualsiasi momento o anche introducendo iniziative come una lotteria per l'acquisto di prodotti esclusivi e in edizione limitata in modo che questi prodotti non possono essere acquistati in modo convenzionale aiuterà a prevenire il successo dei robot.

È importante considerare l'implementazione di alcune o tutte le soluzioni di cui sopra piuttosto che fare affidamento solo su una di esse poiché ciascuna fornirà una difesa contro questi bot in modi leggermente diversi.

Ad esempio, se hai semplicemente fatto affidamento su una modifica dell'applicazione per impedire l'acquisto di bot, continueranno a danneggiare il resto della tua infrastruttura e causeranno persino problemi come il riempimento di file di registro apache o Varnish in una misura in cui il tuo server potrebbe esaurire lo spazio su disco.

Bot buono vs bot cattivo: non ignorare i segnali

In sintesi, i bot stanno diventando una minaccia commerciale crescente per i rivenditori di e-commerce e gestirli in modo efficace può essere molto complesso. Le stime di quanto traffico web è effettivamente umano rispetto ai bot variano, ma il consenso generale è che fino al 50% di tutto il traffico web è generato dai bot.

Se consideri questo numero e la quantità di larghezza di banda e capacità che utilizzeranno e il fatto che circa il 50% di quel traffico di bot proviene da bot "cattivi" o dannosi, non è qualcosa che nessun rivenditore dovrebbe ignorare.