Boți buni, boți răi și cei supărați între ele

În ultimele 18 luni, am observat o creștere semnificativă a numărului de roboti web inteligenți care vizează anumite site-uri web de comerț electronic. Cel puțin acești roboți sunt o enervare și, în cel mai rău caz, pot provoca în mod eficient un atac DDoS și pot distruge un site web.

Boții web există de mult timp și cu toții beneficiem de mulți dintre ei. Există roboți buni (cum ar fi Googlebot sau Bingbot) și există roboți răi care încearcă automat să pirateze o aplicație web sau să injecteze spam în site-uri web. Cele bune sunt în general benefice, iar cele rele pot fi adesea tratate printr-o soluție precum un Web Application Firewall (WAF) care va recunoaște cererile rău intenționate și le va bloca.

Boții problematici sunt adesea cei care stau între bine și rău. Acestea pot fi greu de detectat, deoarece adesea vor uzurpa identitatea unui utilizator normal și vor face solicitări care, singure și izolate, sunt perfect sigure, legitime și aparent inofensive.

Deși intenția lor este în mod normal altceva decât un atac DDoS, efectul poate fi uneori același atunci când sunt fie prea agresivi, fie prea multe cazuri în care un bot a lovit un site deodată.

Acești roboți sunt utilizați comercial din mai multe motive, inclusiv:

1. Achiziționarea automată a produselor (boții de cumpărare agresivi pot cauza probleme grave de performanță în timpul lansării produselor)

2. Agregarea conținutului (conținutul dvs. poate fi trecut drept al altcuiva)

3. Analiza prețurilor concurenților (concurenții pot folosi aceste date pentru a vă subcota)

4. Accesarea cu crawlere a conținutului agresiv (crawlerele agresive pot pune presiune pe platforma dvs. web)

Exemplu real al unui bot comercial care provoacă o mulțime de probleme

Avem un client care vinde adesea produse în ediție limitată care sunt foarte căutate. Aceste produse pot obține adesea de 3 ori prețul recomandat atunci când sunt vândute pe eBay, iar retailerul va avea doar o aprovizionare limitată de vândut. Majoritatea acestor produse au o lansare coordonată la nivel mondial și, prin urmare, ora exactă a lansării este bine cunoscută.

În ultimele 18 luni, am văzut din ce în ce mai mulți roboți extrem de agresivi folosiți în multe mii pentru a încerca să achiziționeze aceste produse într-o măsură în care performanța platformei de comerț electronic poate fi serios compromisă.

În acest caz, roboții au fost proiectați special pentru site-ul web al acestui comerciant și cunosc solicitările exacte care trebuie făcute pentru a adăuga produsul în coș și a trece prin finalizarea comenzii. Nici măcar nu trebuie să viziteze pagina de afișare a produsului. În mod normal, acestea sunt distribuite pe mai multe servere cloud, cu mai multe instanțe ale botului instalate pe fiecare server. Deoarece ora de lansare este publică și coordonată, roboții încep cu toții să încerce să adauge produsul în coș și să treacă prin casă exact în același timp, de obicei multe mii deodată.

Recordul pe care l-am văzut este de 3 milioane de încercări de a cumpăra un singur produs într-o perioadă de 12 ore.

Deoarece solicitările sunt toate legitime și bot-ul se uită la un utilizator real, poate fi greu să blocați roboții suficient de repede înainte ca aceștia să facă daune fără a bloca utilizatorii reali. Nu are rost să așteptați 1 minut pentru a înregistra câte solicitări a făcut un anumit IP și, dacă numărul depășește un anumit prag, apoi le blocați. Până în acest moment, daunele au fost deja făcute și aveți zeci de mii de roboți simultan în casă.

De asemenea, boții îi dezavantajează pe utilizatorii reali, deoarece puteți garanta că roboții vor fi primii în coadă pentru a obține produsele, deoarece sunt programați să înceapă să cumpere în momentul în care produsele sunt lansate. Deși, evident, vânzătorul cu amănuntul încă primește vânzarea, ei pot pierde loialitatea mărcii din acest motiv, deoarece clienții reali și fideli vor pierde întotdeauna.

Deci, cum gestionați roboții buni și boții răi?

Multe organizații, cum ar fi CDN-urile, au dezvoltat rapid soluții de gestionare a boților în ultimul an, ca răspuns la problemele tot mai mari cu roții cu care se confruntă comercianții cu amănuntul. Unele, cum ar fi soluția de manager de bot de la Akamai, pot fi foarte sofisticate în felul în care încearcă să identifice un bot, precum și cu opțiunile pe care le va oferi comerciantului cu amănuntul în ceea ce privește modul în care acţionează cu botul.

Pur și simplu blocarea botului nu este întotdeauna răspunsul. Dacă știu că au fost blocați, pot să sară la un alt IP sau să încerce să evolueze pentru a păcăli managerul de bot.

O soluție mai bună este să păcăliți botul arătându-i conținutul greșit (poate prețuri mai mari – în cazul unui bot folosit pentru a analiza prețurile concurenților) sau pur și simplu să-i încetinească. Aceasta este, de asemenea, o tehnică utilă de utilizat pentru roboții care sunt doar dăunători pentru că sunt prea agresivi în crawling. Nu doriți să le blocați cu totul, dar doriți să le încetiniți puțin pentru a reduce impactul asupra infrastructurii dvs.

Deși o soluție de manager de bot este cu siguranță un instrument util, este puțin probabil să identifice și să oprească toți roboții și, în exemplul real detaliat mai sus, în momentul în care ar putea identifica utilizatorul ca bot, ar putea fi prea târziu, deoarece paguba ar fi deja făcută. Boții se vor adapta și evolua în mod constant pentru a împiedica managerii de bot să-i blocheze și, prin urmare, este o țintă în mișcare.

Soluția pentru gestionarea eficientă a acestor roboți este cu mai multe fațete. Nu există o singură soluție care să prindă totul și să vă ofere tot controlul de care aveți nevoie. Diferite servicii și soluții vor oferi protecție în diferite zone împotriva diferitelor tipuri de roboți. Numai prin implementarea mai multor soluții și apărări puteți gestiona eficient acești roboți.

4 domenii de luat în considerare atunci când construiești o strategie de management al botului

Stratul CDN

Un CDN poate fi o primă linie de apărare împotriva traficului rău intenționat sau supărător. Configurația ideală CDN asigură că toate solicitările către aplicația dvs. web, indiferent dacă pot fi memorate în cache sau nu, sunt filtrate prin CDN. Puteți utiliza apoi instrumente pe care CDN-ul le va furniza, cum ar fi un WAF, un manager de bot sau chiar unele reguli de bază de limitare a ratei pentru a vă proteja site-ul împotriva celor mai evidenti roboți.

Stratul WAF

Mulți comercianți cu amănuntul au un strat WAF între CDN-ul lor și infrastructura lor de găzduire. Un WAF de înaltă calitate, cum ar fi Imperva WAF, poate fi utilizat pentru a detecta și bloca automat cererile rău intenționate, cum ar fi cele făcute de mulți roboți răi. În plus, pot fi adăugate reguli personalizate pentru a recunoaște și bloca sau limita acei roboți care nu sunt rău intenționați, dar care pot fi supărătoare.

Stratul de cache al aplicației

Implementarea unui instrument precum Varnish, care se află între firewall și aplicația dvs. web, nu numai că poate îmbunătăți viteza și performanța, dar poate fi folosit și pentru a limita impactul roboților agresivi. Sunt disponibile un număr de module Varnish (Vmods) care pot fi utilizate pentru a limita efectiv rata de solicitări efectuate către anumite adrese URL.

Strat de aplicație

Se pot face modificări aplicației dvs. pentru a o proteja de roboții agresivi sau supărați.

De exemplu, utilizarea unor instrumente simple precum Google reCAPTCHA la momente relevante, limitarea numărului de utilizatori care pot adăuga un anumit produs în coșul lor la un moment dat sau chiar introducerea de inițiative precum o tombolă pentru achiziționarea de produse exclusive și în ediție limitată, astfel încât aceste produse nu pot fi achiziționate în mod convențional va ajuta la prevenirea succesului boților.

Este important să luați în considerare implementarea unora sau a tuturor soluțiilor de mai sus, în loc să vă bazați doar pe una dintre ele, deoarece fiecare va oferi apărare împotriva acestor roboți în moduri ușor diferite.

De exemplu, dacă te-ai bazat pur și simplu pe o modificare a aplicației pentru a preveni achiziționarea de roboți, aceștia vor încărca restul infrastructurii tale și vor cauza chiar probleme precum completarea fișierelor jurnal Apache sau Varnish într-o măsură în care serverul tău ar putea rămâne fără spațiu pe disc.

Bot bun vs bot rău: nu ignora semnele

În rezumat, roboții devin o amenințare comercială din ce în ce mai mare pentru comerțul electronic cu amănuntul și gestionarea eficientă a acestora poate fi foarte complexă. Estimările despre cât de mult trafic web este de fapt uman față de boți variază, dar consensul general este că până la 50% din tot traficul web este generat de roboți.

Dacă luați în considerare acest număr și cantitatea de lățime de bandă și capacitate pe care o vor folosi și de faptul că aproximativ 50% din traficul de bot este de la roboți „răi” sau rău intenționați, nu este ceva pe care orice retailer ar trebui să îl ignore.