Bot yang baik, bot yang buruk, dan yang merepotkan di antaranya

Selama 18 bulan terakhir, kami telah melihat peningkatan yang signifikan dalam jumlah bot web cerdas yang menargetkan situs web e-niaga tertentu. Paling tidak bot ini mengganggu, dan paling buruk mereka dapat secara efektif menyebabkan serangan DDoS dan menjatuhkan situs web.

Bot web telah ada sejak lama dan kita semua mendapat banyak manfaat darinya. Ada bot yang baik (seperti Googlebot atau Bingbot), dan ada bot buruk yang secara otomatis mencoba meretas aplikasi web atau menyuntikkan spam ke situs web. Yang baik umumnya bermanfaat, dan yang buruk sering dapat ditangani dengan solusi seperti Firewall Aplikasi Web (WAF) yang akan mengenali permintaan jahat dan memblokirnya.

Bot yang bermasalah sering kali berada di antara yang baik dan yang buruk. Ini bisa sulit untuk dideteksi, karena mereka akan sering menyamar sebagai pengguna normal dan membuat permintaan yang, dengan sendirinya dan dalam isolasi, benar-benar aman, sah, dan tampaknya tidak berbahaya.

Meskipun niat mereka biasanya adalah sesuatu selain serangan DDoS, efeknya terkadang bisa sama ketika mereka terlalu agresif atau terlalu banyak bot menyerang situs web sekaligus.

Bot ini digunakan secara komersial karena sejumlah alasan termasuk:

1. Pembelian produk secara otomatis (bot pembelian agresif dapat menyebabkan masalah kinerja yang parah selama peluncuran produk)

2. Agregasi konten (konten Anda dapat dianggap sebagai milik orang lain)

3. Analisis harga pesaing (pesaing dapat menggunakan data ini untuk melemahkan Anda)

4. Perayapan konten agresif (perayap agresif dapat membebani platform web Anda)

Contoh dunia nyata dari bot komersial yang menyebabkan banyak masalah

Kami memiliki klien yang sering menjual produk limited edition yang banyak dicari. Produk-produk ini seringkali dapat memperoleh 3 kali RRP saat dijual di eBay, dan pengecer hanya akan memiliki persediaan terbatas untuk dijual. Sebagian besar produk ini memiliki peluncuran terkoordinasi di seluruh dunia dan oleh karena itu waktu peluncuran yang tepat sudah diketahui.

Selama 18 bulan terakhir, kami semakin melihat bot yang sangat agresif yang digunakan dalam ribuan untuk mencoba membeli produk ini sampai pada tingkat di mana kinerja platform e-niaga dapat dikompromikan secara serius.

Dalam hal ini, bot telah dirancang khusus untuk situs web pengecer ini, dan mengetahui permintaan pasti yang perlu dibuat untuk menambahkan produk ke keranjang dan melakukan pembayaran. Mereka bahkan tidak perlu mengunjungi halaman tampilan produk. Mereka biasanya didistribusikan di beberapa server cloud dengan beberapa contoh bot yang diinstal di setiap server. Karena waktu peluncuran bersifat publik dan terkoordinasi, semua bot mulai mencoba menambahkan produk ke keranjang dan melakukan pembayaran pada waktu yang sama, biasanya ribuan sekaligus.

Rekor yang kami lihat adalah 3 juta upaya untuk membeli satu produk dalam periode 12 jam.

Karena semua permintaan sah dan bot meniru pengguna asli, mungkin sulit untuk memblokir bot dengan cukup cepat sebelum mereka melakukan kerusakan tanpa memblokir pengguna sebenarnya. Tidak ada gunanya menunggu 1 menit untuk mencatat berapa banyak permintaan yang dibuat oleh IP tertentu dan, jika jumlahnya melebihi ambang tertentu, Anda kemudian memblokirnya. Pada titik ini, kerusakan telah terjadi dan Anda memiliki puluhan ribu bot secara bersamaan di checkout Anda.

Bot juga merugikan pengguna nyata, karena Anda dapat menjamin bahwa bot akan menjadi yang pertama dalam antrian untuk mendapatkan produk, karena mereka dijadwalkan untuk mulai membeli begitu produk ditayangkan. Meskipun pengecer jelas masih mendapatkan penjualan, mereka dapat kehilangan loyalitas merek karena ini karena pelanggan yang setia dan setia akan selalu kalah.

Jadi bagaimana Anda mengelola bot yang baik dan bot yang buruk?

Banyak organisasi, seperti CDN, telah dengan cepat mengembangkan solusi manajemen bot selama setahun terakhir sebagai tanggapan atas meningkatnya masalah bot yang dihadapi pengecer. Beberapa, seperti solusi pengelola bot Akamai, bisa sangat canggih dalam cara mereka mencoba mengidentifikasi bot, serta dengan opsi yang akan diberikan pengecer tentang cara mereka menangani bot.

Memblokir bot saja tidak selalu jawabannya. Jika mereka tahu bahwa mereka telah diblokir, mereka dapat melompat ke IP lain atau mencoba berevolusi untuk mengelabui manajer bot.

Solusi yang lebih baik adalah mengelabui bot dengan menunjukkan konten yang salah (mungkin harga lebih tinggi – jika bot digunakan untuk menganalisis harga pesaing) atau memperlambatnya. Ini juga merupakan teknik yang berguna untuk digunakan untuk bot yang hanya berbahaya karena mereka terlalu agresif dalam perayapannya. Anda tidak ingin memblokirnya sama sekali, tetapi Anda ingin memperlambatnya sedikit untuk mengurangi dampak pada infrastruktur Anda.

Meskipun solusi manajer bot tentu saja merupakan alat yang berguna, tidak mungkin untuk mengidentifikasi dan menghentikan semua bot dan, dalam contoh dunia nyata yang dijelaskan di atas, pada saat itu mungkin mengidentifikasi pengguna sebagai bot, mungkin sudah terlambat karena kerusakan sudah akan dilakukan. Bot akan terus beradaptasi dan berevolusi untuk menghentikan manajer bot memblokir mereka dan karenanya merupakan target yang bergerak.

Solusi untuk mengelola bot ini secara efektif memiliki banyak segi. Tidak ada satu, tunggal, solusi yang akan menangkap segalanya dan memberi Anda semua kontrol yang Anda butuhkan. Layanan dan solusi yang berbeda akan memberikan perlindungan di area yang berbeda terhadap berbagai jenis bot. Hanya dengan menerapkan beberapa pertahanan dan solusi, Anda dapat mengelola bot ini secara efektif.

4 area yang perlu dipertimbangkan saat membangun strategi manajemen bot

lapisan CDN

CDN dapat menjadi garis pertahanan pertama melawan lalu lintas yang berbahaya atau mengganggu. Konfigurasi CDN yang ideal memastikan bahwa semua permintaan ke aplikasi web Anda, baik yang dapat di-cache atau tidak, difilter melalui CDN. Anda kemudian dapat menggunakan alat yang akan disediakan CDN seperti WAF, pengelola bot, atau bahkan beberapa aturan pembatasan tarif dasar untuk melindungi situs web Anda dari bot yang paling jelas terlihat.

lapisan WAF

Banyak pengecer memiliki lapisan WAF di antara CDN mereka dan infrastruktur hosting mereka. WAF berkualitas tinggi, seperti Imperva WAF, dapat digunakan untuk secara otomatis mendeteksi dan memblokir permintaan jahat seperti yang dibuat oleh banyak bot jahat. Selain itu, aturan khusus dapat ditambahkan untuk mengenali dan memblokir atau membatasi bot yang tidak berbahaya tetapi dapat mengganggu.

Lapisan cache aplikasi

Menerapkan alat seperti Varnish yang berada di antara firewall dan aplikasi web Anda tidak hanya dapat meningkatkan kecepatan dan kinerja, tetapi juga dapat digunakan untuk membatasi dampak bot agresif. Sejumlah modul Varnish (Vmods) tersedia yang dapat digunakan untuk secara efektif membatasi tingkat permintaan yang dibuat ke url tertentu.

Lapisan aplikasi

Perubahan dapat dilakukan pada aplikasi Anda untuk melindunginya dari bot yang agresif atau merepotkan.

Misalnya, menggunakan alat sederhana seperti Google reCAPTCHA pada waktu yang relevan, membatasi jumlah pengguna yang dapat menambahkan produk tertentu ke keranjang mereka pada satu waktu atau bahkan memperkenalkan inisiatif seperti undian untuk pembelian produk edisi eksklusif dan terbatas sehingga produk ini tidak dapat dibeli dengan cara konvensional akan membantu mencegah bot agar tidak berhasil.

Penting untuk mempertimbangkan menerapkan beberapa atau semua solusi di atas daripada hanya mengandalkan salah satunya karena masing-masing akan memberikan pertahanan terhadap bot ini dengan cara yang sedikit berbeda.

Misalnya, jika Anda hanya mengandalkan perubahan aplikasi untuk mencegah pembelian bot, bot akan tetap merusak infrastruktur Anda dan bahkan menyebabkan masalah seperti mengisi file log apache atau Varnish hingga server Anda dapat kehabisan ruang disk.

Bot baik vs bot buruk: Jangan abaikan tandanya

Singkatnya, bot menjadi ancaman komersial yang meningkat bagi pengecer e-niaga dan berurusan dengan mereka secara efektif bisa sangat kompleks. Perkiraan berapa banyak lalu lintas web sebenarnya manusia versus bot bervariasi tetapi konsensus umum adalah bahwa hingga 50% dari semua lalu lintas web dihasilkan oleh bot.

Jika Anda mempertimbangkan jumlah ini dan jumlah bandwidth dan kapasitas yang akan mereka gunakan dan fakta bahwa sekitar 50% lalu lintas bot itu berasal dari bot 'buruk' atau jahat, itu bukanlah sesuatu yang harus diabaikan oleh pengecer mana pun.