İyi botlar, kötü botlar ve aradaki zahmetli olanlar

Son 18 ayda, belirli e-ticaret web sitelerini hedefleyen akıllı web botlarının sayısında önemli bir artış gördük. En azından bu botlar can sıkıcıdır ve en kötü ihtimalle etkili bir şekilde bir DDoS saldırısına neden olabilir ve bir web sitesini kapatabilirler.

Web botları uzun zamandır var ve hepimiz bunlardan birçoğundan yararlanıyoruz. İyi botlar (Googlebot veya Bingbot gibi) vardır ve bir web uygulamasını otomatik olarak hacklemeye veya web sitelerine spam enjekte etmeye çalışan kötü botlar vardır. İyi olanlar genellikle faydalıdır ve kötü olanlar genellikle Web Uygulaması Güvenlik Duvarı (WAF) gibi kötü niyetli istekleri tanıyacak ve engelleyecek bir çözümle ele alınabilir.

Sorunlu botlar genellikle iyi ve kötü arasında oturanlardır. Bunları tespit etmek zor olabilir, çünkü bunlar genellikle normal bir kullanıcının kimliğine bürünür ve kendi başlarına ve ayrı ayrı tamamen güvenli, meşru ve görünüşte zararsız olan taleplerde bulunurlar.

Niyetleri normalde bir DDoS saldırısından farklı bir şey olsa da, bazen çok agresif olduklarında veya bir web sitesine aynı anda çok sayıda bot isabet ettiğinde etki aynı olabilir.

Bu botlar, aşağıdakiler de dahil olmak üzere çeşitli nedenlerle ticari olarak kullanılmaktadır:

1. Ürünlerin otomatik satın alınması (agresif satın alma botları, ürün lansmanları sırasında ciddi performans sorunlarına neden olabilir)

2. İçeriğin toplanması (içeriğiniz başka birinin içeriğiymiş gibi aktarılabilir)

3. Rakip fiyat analizi (rakipler bu verileri sizi alt etmek için kullanabilir)

4. Agresif içerik taraması (agresif tarayıcılar web platformunuzu zorlayabilir)

Birçok soruna neden olan ticari bir botun gerçek dünyadan örneği

Çok rağbet gören sınırlı sayıda ürünler satan bir müşterimiz var. Bu ürünler, eBay'de satıldığında genellikle RRP'nin 3 katını getirebilir ve perakendecinin satmak için yalnızca sınırlı bir arzı olacaktır. Bu ürünlerin çoğu, dünya çapında koordineli bir lansmana sahiptir ve bu nedenle lansmanın kesin zamanı iyi bilinmektedir.

Son 18 ayda, bu ürünleri e-ticaret platformunun performansının ciddi şekilde tehlikeye atılabileceği bir düzeye kadar bu ürünleri satın almaya çalışan binlerce kişide giderek artan şekilde aşırı agresif botlar kullanıldığını gördük.

Bu durumda, botlar bu perakendecinin web sitesi için özel olarak tasarlanmıştır ve ürünü sepete eklemek ve ödemeyi tamamlamak için yapılması gereken talepleri tam olarak bilir. Ürün teşhir sayfasını ziyaret etmelerine bile gerek yok. Normalde birden çok bulut sunucusuna dağıtılırlar ve her bir sunucuda birden çok bot yüklüdür. Lansman zamanı herkese açık ve koordineli olduğu için, botların tümü ürünü sepete eklemeye ve kasadan aynı anda, normalde bir kerede binlercesi geçmeye çalışır.

Gördüğümüz rekor, 12 saatlik bir süre içinde tek bir ürünü satın almak için 3 milyon denemedir.

İsteklerin tamamı meşru olduğundan ve bot gerçek bir kullanıcının kimliğine büründüğünden, botları gerçek kullanıcıları engellemeden zarar vermeden önce yeterince hızlı bir şekilde engellemek zor olabilir. Belirli bir IP'nin kaç istekte bulunduğunu kaydetmek için 1 dakika beklemenin bir anlamı yoktur ve sayı belirli bir eşiğin üzerindeyse onları engellersiniz. Bu noktada, hasar çoktan verildi ve kasanızda aynı anda on binlerce bot var.

Botlar aynı zamanda gerçek kullanıcıları dezavantajlı kılar, çünkü botların ürünleri almak için kuyrukta ilk olacağını garanti edebilirsiniz, çünkü ürünler yayına girer girmez satın almaya başlamaları için zamanları vardır. Perakendeci açıkça satışı devam etse de, gerçek ve sadık müşteriler her zaman kaybedeceğinden, bu nedenle marka sadakatini kaybedebilirler.

Peki iyi botları ve kötü botları nasıl yönetirsiniz?

CDN'ler gibi birçok kuruluş, perakendecilerin karşılaştığı artan bot sorunlarına yanıt olarak geçen yıl hızla bot yönetimi çözümleri geliştiriyor. Akamai'nin bot yöneticisi çözümü gibi bazıları, bir botu tanımlamaya çalışma biçimlerinin yanı sıra perakendeciye botla nasıl başa çıkacakları konusunda sunacağı seçenekler açısından çok karmaşık olabilir.

Basitçe botu engellemek her zaman çözüm değildir. Engellendiklerini biliyorlarsa, bot yöneticisini kandırmak için başka bir IP'ye atlayabilir veya gelişmeye çalışabilirler.

Daha iyi bir çözüm, botu yanlış içeriği göstererek (belki daha yüksek fiyatlar – bir botun rakibin fiyatlarını analiz etmek için kullanılması durumunda) göstererek kandırmak veya sadece yavaşlatmaktır. Bu aynı zamanda, yalnızca taramalarında çok agresif oldukları için zararlı olan botlar için de faydalı bir tekniktir. Bunları tamamen engellemek istemiyorsunuz, ancak altyapınız üzerindeki etkiyi azaltmak için biraz yavaşlatmak istiyorsunuz.

Bir bot yöneticisi çözümü kesinlikle yararlı bir araç olsa da, tüm botları tanımlaması ve durdurması pek olası değildir ve yukarıda ayrıntıları verilen gerçek dünya örneğinde, kullanıcıyı muhtemelen bir bot olarak tanımlayacağı zaman için çok geç olabilir. zarar çoktan verilmiş olurdu. Botlar, bot yöneticilerinin onları engellemesini durdurmak için sürekli olarak adapte olacak ve gelişecektir ve bu nedenle hareketli bir hedeftir.

Bu botları etkin bir şekilde yönetmenin çözümü çok yönlüdür. Her şeyi yakalayacak ve ihtiyacınız olan tüm kontrolü size verecek tek, tek bir çözüm yok. Farklı hizmetler ve çözümler, farklı alanlarda farklı bot türlerine karşı koruma sağlayacaktır. Yalnızca birden fazla savunma ve çözüm dağıtarak bu botları etkin bir şekilde yönetebilirsiniz.

Bot yönetimi stratejisi oluştururken dikkate alınması gereken 4 alan

CDN katmanı

Bir CDN, kötü niyetli veya sorunlu trafiğe karşı ilk savunma hattı olabilir. İdeal CDN yapılandırması, önbelleğe alınabilir olsun veya olmasın, web uygulamanıza gelen tüm isteklerin CDN aracılığıyla filtrelenmesini sağlar. Ardından, web sitenizi en belirgin botlara karşı korumak için CDN'nin sağlayacağı WAF, bot yöneticisi veya hatta bazı temel hız sınırlama kuralları gibi araçları kullanabilirsiniz.

WAF katmanı

Birçok perakendecinin CDN'leri ve barındırma altyapıları arasında oturan bir WAF katmanı vardır. Imperva WAF gibi yüksek kaliteli bir WAF, birçok kötü bot tarafından yapılanlar gibi kötü amaçlı istekleri otomatik olarak algılamak ve engellemek için kullanılabilir. Ek olarak, kötü niyetli olmayan ancak zahmetli olabilecek botları tanımak ve engellemek veya sınırlamak için özel kurallar eklenebilir.

Uygulama önbelleğe alma katmanı

Güvenlik duvarınız ve web uygulamanız arasında bulunan Varnish gibi bir araç uygulamak, yalnızca hızı ve performansı artırmakla kalmaz, aynı zamanda agresif botların etkisini sınırlamak için de kullanılabilir. Belirli url'lere yapılan isteklerin oranını etkin bir şekilde sınırlamak için kullanılabilecek bir dizi Vernik modülü (Vmod) mevcuttur.

Uygulama katmanı

Agresif veya zahmetli botlardan korumak için uygulamanızda değişiklikler yapılabilir.

Örneğin, Google reCAPTCHA gibi basit araçları ilgili zamanlarda kullanmak, belirli bir ürünü herhangi bir zamanda sepetine ekleyebilecek kullanıcı sayısını sınırlamak veya hatta özel ve sınırlı sayıda ürün satın almak için çekiliş gibi girişimler başlatmak, böylece bu ürünlerin alışılagelmiş şekilde satın alınamaması, botların başarılı olmasını engellemeye yardımcı olacaktır.

Her biri bu botlara karşı biraz farklı şekillerde savunma sağlayacağından, bunlardan birine güvenmek yerine yukarıdaki çözümlerin bazılarını veya tamamını uygulamayı düşünmek önemlidir.

Örneğin, bot satın almayı önlemek için yalnızca bir uygulama değişikliğine güvendiyseniz, bunlar altyapınızın geri kalanını zedelemeye devam edecek ve hatta apache veya Varnish günlük dosyalarının doldurulması gibi sorunlara, sunucunuzun disk alanı tükenebilecek kadar neden olacaktır.

İyi bot vs kötü bot: İşaretleri görmezden gelme

Özetle, botlar e-ticaret perakendecileri için artan bir ticari tehdit haline geliyor ve bunlarla etkili bir şekilde başa çıkmak çok karmaşık olabilir. Botlara karşı ne kadar web trafiğinin gerçekte insan olduğuna dair tahminler farklılık gösterir, ancak genel fikir birliği, tüm web trafiğinin %50'ye kadarının botlar tarafından oluşturulduğudur.

Bu sayıyı ve kullanacakları bant genişliği ve kapasite miktarını ve bu bot trafiğinin yaklaşık %50'sinin 'kötü' veya kötü niyetli botlardan geldiği gerçeğini göz önünde bulundurursanız, bu herhangi bir perakendecinin göz ardı etmesi gereken bir şey değildir.