Dobre boty, złe boty i te kłopotliwe pomiędzy

W ciągu ostatnich 18 miesięcy zaobserwowaliśmy znaczny wzrost liczby inteligentnych botów internetowych, które atakują określone witryny handlu elektronicznego. Przynajmniej te boty są denerwujące, a w najgorszym mogą skutecznie wywołać atak DDoS i wyłączyć witrynę.

Boty internetowe istnieją od dawna i wszyscy korzystamy z wielu z nich. Istnieją dobre boty (takie jak Googlebot lub Bingbot) i złe boty, które automatycznie próbują włamać się do aplikacji internetowej lub wstrzyknąć spam na strony internetowe. Te dobre są generalnie korzystne, a te złe często można rozwiązać za pomocą rozwiązania, takiego jak zapora aplikacji sieci Web (WAF), która rozpozna złośliwe żądania i zablokuje je.

Problematyczne boty to często te, które znajdują się między dobrem a złem. Mogą być trudne do wykrycia, ponieważ często podszywają się pod zwykłego użytkownika i wysyłają żądania, które samodzielnie i w odosobnieniu są całkowicie bezpieczne, uzasadnione i pozornie nieszkodliwe.

Chociaż ich intencją jest zwykle coś innego niż atak DDoS, czasami efekt może być taki sam, gdy są zbyt agresywni lub zbyt wiele botów uderza w witrynę jednocześnie.

Te boty są wykorzystywane komercyjnie z wielu powodów, w tym:

1. Automatyczne kupowanie produktów (agresywne boty zakupowe mogą powodować poważne problemy z wydajnością podczas wprowadzania produktów na rynek)

2. Agregacja treści (Twoja treść może zostać podszyta jako należąca do kogoś innego)

3. Analiza cen konkurencji (konkurenci mogą wykorzystać te dane, aby Cię podciąć)

4. Agresywne indeksowanie treści (agresywne roboty indeksujące mogą obciążać Twoją platformę internetową)

Prawdziwy przykład komercyjnego bota powodującego wiele problemów

Mamy klienta, który często sprzedaje produkty z limitowanych edycji, które są bardzo poszukiwane. Te produkty mogą często osiągać 3-krotność ceny detalicznej, gdy są sprzedawane w serwisie eBay, a sprzedawca będzie miał tylko ograniczoną podaż do sprzedaży. Większość z tych produktów ma skoordynowaną ogólnoświatową premierę, dlatego dokładny czas wprowadzenia na rynek jest dobrze znany.

W ciągu ostatnich 18 miesięcy coraz częściej zdarzało się, że tysiące bardzo agresywnych botów próbowało kupić te produkty w stopniu, w którym wydajność platformy e-commerce może zostać poważnie zagrożona.

W tym przypadku boty zostały specjalnie zaprojektowane dla witryny tego sprzedawcy i dokładnie znają żądania, które należy złożyć, aby dodać produkt do koszyka i przejść przez kasę. Nie muszą nawet odwiedzać strony wyświetlania produktu. Są one zwykle rozproszone na wielu serwerach w chmurze, z wieloma instancjami bota zainstalowanymi na każdym serwerze. Ponieważ czas uruchomienia jest publiczny i skoordynowany, wszystkie boty zaczynają próbować dodać produkt do koszyka i przejść przez kasę dokładnie w tym samym czasie, zwykle wiele tysięcy naraz.

Rekord, jaki zaobserwowaliśmy, to 3 miliony prób zakupu jednego produktu w ciągu 12 godzin.

Ponieważ wszystkie żądania są uzasadnione, a bot podszywa się pod prawdziwego użytkownika, może być trudno wystarczająco szybko zablokować boty, zanim wyrządzą szkody bez blokowania prawdziwych użytkowników. Nie ma sensu czekać 1 minutę, aby zarejestrować, ile żądań wysłał konkretny adres IP, a jeśli liczba przekracza pewien próg, blokujesz je. W tym momencie szkoda została już wyrządzona, a w kasie masz jednocześnie dziesiątki tysięcy botów.

Boty działają również na szkodę prawdziwych użytkowników, ponieważ możesz zagwarantować, że boty będą pierwsze w kolejce po produkty, ponieważ mają czas na rozpoczęcie zakupów w momencie, gdy produkty zostaną uruchomione. Chociaż detalista oczywiście nadal otrzymuje sprzedaż, może z tego powodu stracić lojalność wobec marki, ponieważ prawdziwi i lojalni klienci zawsze przegrywają.

Jak więc zarządzać dobrymi i złymi botami?

Wiele organizacji, takich jak CDN, szybko rozwijało rozwiązania do zarządzania botami w ciągu ostatniego roku w odpowiedzi na rosnące problemy z botami, z którymi borykają się sprzedawcy detaliczni. Niektóre, takie jak rozwiązanie menedżera botów Akamai, mogą być bardzo wyrafinowane w sposobie identyfikacji bota, a także w opcjach, jakie daje sprzedawcy w zakresie postępowania z botem.

Samo zablokowanie bota nie zawsze jest odpowiedzią. Jeśli wiedzą, że zostali zablokowani, mogą po prostu przeskoczyć do innego adresu IP lub spróbować ewoluować, aby oszukać menedżera bota.

Lepszym rozwiązaniem jest oszukanie bota poprzez pokazanie mu niewłaściwej treści (być może wyższe ceny – w przypadku bota używanego do analizy cen konkurencji) lub po prostu spowolnienie. Jest to również przydatna technika w przypadku botów, które są szkodliwe tylko dlatego, że są zbyt agresywne podczas raczkowania. Nie chcesz ich całkowicie blokować, ale chcesz je trochę spowolnić, aby zmniejszyć wpływ na infrastrukturę.

Chociaż menedżer botów jest z pewnością użytecznym narzędziem, jest mało prawdopodobne, aby zidentyfikował i zatrzymał wszystkie boty. szkoda byłaby już wyrządzona. Boty będą stale dostosowywać się i ewoluować, aby powstrzymać menedżerów botów przed ich blokowaniem, dlatego jest to ruchomy cel.

Rozwiązanie skutecznego zarządzania tymi botami jest wieloaspektowe. Nie ma jednego, jednego rozwiązania, które złapie wszystko i zapewni Ci pełną kontrolę, jakiej potrzebujesz. Różne usługi i rozwiązania zapewnią ochronę w różnych obszarach przed różnymi rodzajami botów. Tylko poprzez wdrożenie wielu zabezpieczeń i rozwiązań możesz skutecznie zarządzać tymi botami.

4 obszary do rozważenia przy tworzeniu strategii zarządzania botami

Warstwa CDN

CDN może być pierwszą linią obrony przed złośliwym lub kłopotliwym ruchem. Idealna konfiguracja CDN zapewnia, że ​​wszystkie żądania do Twojej aplikacji internetowej, niezależnie od tego, czy można je przechowywać w pamięci podręcznej, czy nie, są filtrowane przez CDN. Następnie możesz użyć narzędzi, które zapewni CDN, takich jak WAF, menedżer botów, a nawet kilka podstawowych zasad ograniczania szybkości, aby chronić swoją witrynę przed najbardziej oczywistymi botami.

Warstwa WAF

Wielu sprzedawców detalicznych ma warstwę WAF znajdującą się między ich CDN a infrastrukturą hostingową. Wysokiej jakości plik WAF, taki jak Imperva WAF, może być używany do automatycznego wykrywania i blokowania złośliwych żądań, takich jak te wysyłane przez wiele złych botów. Dodatkowo można dodać niestandardowe reguły, aby rozpoznawać i blokować lub ograniczać boty, które nie są złośliwe, ale mogą być kłopotliwe.

Warstwa buforowania aplikacji

Wdrożenie narzędzia takiego jak Varnish, które znajduje się między zaporą sieciową a aplikacją internetową, może nie tylko poprawić szybkość i wydajność, ale może być również wykorzystane do ograniczenia wpływu agresywnych botów. Dostępnych jest wiele modułów lakieru (Vmods), które można wykorzystać do skutecznego ograniczenia liczby żądań wysyłanych do określonych adresów URL.

Warstwa aplikacji

W aplikacji można wprowadzić zmiany, aby chronić ją przed agresywnymi lub kłopotliwymi botami.

Na przykład korzystanie z prostych narzędzi, takich jak Google reCAPTCHA w odpowiednich momentach, ograniczanie liczby użytkowników, którzy mogą w dowolnym momencie dodać określony produkt do koszyka, a nawet wprowadzanie inicjatyw, takich jak loteria na zakup produktów ekskluzywnych i limitowanych, aby te produkty, których nie można kupić w konwencjonalny sposób, pomogą zapobiec sukcesowi botów.

Ważne jest, aby rozważyć wdrożenie niektórych lub wszystkich powyższych rozwiązań, a nie tylko polegać na jednym z nich, ponieważ każde z nich zapewni obronę przed tymi botami w nieco inny sposób.

Na przykład, jeśli po prostu polegasz na zmianie aplikacji, aby zapobiec kupowaniu botów, nadal będą one niszczyć resztę Twojej infrastruktury, a nawet powodować problemy, takie jak wypełnianie plików dzienników Apache lub Varnish do tego stopnia, że ​​​​na serwerze może zabraknąć miejsca na dysku.

Dobry bot kontra zły bot: nie ignoruj ​​znaków

Podsumowując, boty stają się coraz większym zagrożeniem handlowym dla sprzedawców e-commerce, a skuteczne radzenie sobie z nimi może być bardzo złożone. Szacunki dotyczące tego, jak duży ruch w sieci jest faktycznie generowany przez ludzi w porównaniu z botami, różnią się, ale ogólny konsensus jest taki, że do 50% całego ruchu w sieci jest generowanych przez boty.

Jeśli weźmiesz pod uwagę tę liczbę, przepustowość i pojemność, z której będą korzystać, oraz fakt, że około 50% tego ruchu botów pochodzi od „złych” lub złośliwych botów, nie jest to coś, co każdy sprzedawca powinien zignorować.