Buenos bots, malos bots y los problemáticos en el medio

Durante los últimos 18 meses, hemos visto un aumento significativo en la cantidad de web-bots inteligentes que se dirigen a sitios web de comercio electrónico específicos. Como mínimo, estos bots son una molestia y, en el peor de los casos, pueden causar un ataque DDoS y derribar un sitio web.

Los bots web existen desde hace mucho tiempo y todos nos beneficiamos de muchos de ellos. Hay bots buenos (como Googlebot o Bingbot) y hay bots malos que automáticamente intentan piratear una aplicación web o inyectar spam en los sitios web. Los buenos son generalmente beneficiosos, y los malos a menudo se pueden tratar con una solución como un Firewall de aplicaciones web (WAF) que reconocerá las solicitudes maliciosas y las bloqueará.

Los bots problemáticos suelen ser aquellos que se encuentran entre lo bueno y lo malo. Estos pueden ser difíciles de detectar, ya que a menudo se harán pasar por un usuario normal y realizarán solicitudes que, por sí mismas y de forma aislada, son perfectamente seguras, legítimas y aparentemente inofensivas.

Aunque su intención normalmente no es un ataque DDoS, el efecto a veces puede ser el mismo cuando son demasiado agresivos o demasiados casos de un bot golpean un sitio web a la vez.

Estos bots se utilizan comercialmente por varias razones, entre ellas:

1. Compra automática de productos (los bots de compra agresivos pueden causar graves problemas de rendimiento durante los lanzamientos de productos)

2. Agregación de contenido (su contenido puede hacerse pasar por el de otra persona)

3. Análisis de precios de la competencia (los competidores pueden usar estos datos para socavarlo)

4. Rastreo agresivo de contenido (los rastreadores agresivos pueden ejercer presión sobre su plataforma web)

Ejemplo del mundo real de un bot comercial que causa muchos problemas

Tenemos un cliente que suele vender productos de edición limitada que son muy buscados. Estos productos a menudo pueden obtener 3 veces el PVP cuando se venden en eBay, y el minorista solo tendrá un suministro limitado para vender. La mayoría de estos productos tienen un lanzamiento mundial coordinado y, por lo tanto, la hora exacta del lanzamiento es bien conocida.

En los últimos 18 meses, hemos visto cada vez más bots extremadamente agresivos que se utilizan en miles para intentar comprar estos productos hasta el punto de que el rendimiento de la plataforma de comercio electrónico puede verse seriamente comprometido.

En este caso, los bots se diseñaron específicamente para el sitio web de este minorista y conocen las solicitudes exactas que deben realizarse para agregar el producto a la cesta y pasar por caja. Ni siquiera necesitan visitar la página de visualización del producto. Normalmente se distribuyen en varios servidores en la nube con varias instancias del bot instaladas en cada servidor. Debido a que el tiempo de lanzamiento es público y coordinado, todos los bots comienzan a intentar agregar el producto a la cesta y pasan por el proceso de pago exactamente al mismo tiempo, normalmente muchos miles a la vez.

El récord que hemos visto es de 3 millones de intentos de compra de un solo producto en un período de 12 horas.

Debido a que todas las solicitudes son legítimas y el bot se hace pasar por un usuario real, puede ser difícil bloquear los bots lo suficientemente rápido antes de que causen daños sin bloquear a los usuarios reales. No tiene sentido esperar 1 minuto para registrar cuántas solicitudes ha realizado una IP en particular y, si el número supera cierto umbral, las bloquea. En este punto, el daño ya está hecho y tiene decenas de miles de bots simultáneamente en su pago.

Los bots también ponen en desventaja a los usuarios reales, ya que puede garantizar que los bots serán los primeros en la cola para obtener los productos, ya que están programados para comenzar a comprar en el momento en que los productos se lanzan. Aunque el minorista obviamente aún obtiene la venta, puede perder la lealtad a la marca debido a esto, ya que los clientes reales y leales siempre saldrán perdiendo.

Entonces, ¿cómo gestionas los bots buenos y los bots malos?

Muchas organizaciones, como las CDN, han estado desarrollando rápidamente soluciones de administración de bots durante el último año en respuesta a los crecientes problemas con los bots que enfrentan los minoristas. Algunos, como la solución del administrador de bots de Akamai, pueden ser muy sofisticados en la forma en que intentan identificar un bot, así como en las opciones que le dará al minorista sobre cómo lidiar con el bot.

Simplemente bloquear el bot no siempre es la respuesta. Si saben que han sido bloqueados, pueden simplemente saltar a otra IP o intentar evolucionar para engañar al administrador de bots.

Una mejor solución es engañar al bot mostrándole el contenido incorrecto (quizás precios más altos, en el caso de un bot utilizado para analizar los precios de la competencia) o simplemente ralentizarlo. Esta también es una técnica útil para los bots que solo son dañinos porque son demasiado agresivos en su rastreo. No desea bloquearlos por completo, pero sí desea ralentizarlos un poco para reducir el impacto en su infraestructura.

Aunque una solución de administrador de bots es sin duda una herramienta útil, es poco probable que identifique y detenga todos los bots y, en la instancia del mundo real detallada anteriormente, en el momento en que posiblemente identifique al usuario como un bot, puede ser demasiado tarde. el daño ya estaría hecho. Los bots se adaptarán y evolucionarán constantemente para evitar que los administradores de bots los bloqueen, por lo que es un objetivo móvil.

La solución para administrar estos bots de manera efectiva es multifacética. No existe una solución única que abarque todo y le brinde todo el control que necesita. Diferentes servicios y soluciones brindarán protección en diferentes áreas contra diferentes tipos de bots. Solo al implementar múltiples defensas y soluciones puede administrar estos bots de manera efectiva.

4 áreas a tener en cuenta al crear una estrategia de gestión de bots

capa CDN

Una CDN puede ser una primera línea de defensa contra el tráfico malicioso o problemático. La configuración ideal de CDN garantiza que todas las solicitudes a su aplicación web, ya sea que se puedan almacenar en caché o no, se filtren a través de la CDN. A continuación, puede utilizar las herramientas que proporcionará la CDN, como un WAF, un administrador de bots o incluso algunas reglas básicas de limitación de velocidad para proteger su sitio web contra los bots más obvios.

capa WAF

Muchos minoristas tienen una capa WAF entre su CDN y su infraestructura de alojamiento. Se puede usar un WAF de alta calidad, como Imperva WAF, para detectar y bloquear automáticamente solicitudes maliciosas, como las que realizan muchos bots maliciosos. Además, se pueden agregar reglas personalizadas para reconocer y bloquear o limitar aquellos bots que no son maliciosos pero que pueden causar problemas.

Capa de almacenamiento en caché de la aplicación

La implementación de una herramienta como Varnish que se encuentra entre su firewall y su aplicación web no solo puede mejorar la velocidad y el rendimiento, sino que también puede usarse para limitar el impacto de los bots agresivos. Hay varios módulos Varnish (Vmods) disponibles que se pueden usar para limitar efectivamente la tasa de solicitudes que se realizan a direcciones URL específicas.

Capa de aplicación

Se pueden realizar cambios en su aplicación para protegerla de bots agresivos o problemáticos.

Por ejemplo, utilizando herramientas sencillas como Google reCAPTCHA en los momentos oportunos, limitando el número de usuarios que pueden añadir un producto concreto a su cesta en un momento dado o incluso introduciendo iniciativas como sorteos para la compra de productos exclusivos y de edición limitada para que estos productos no se pueden comprar de la manera convencional ayudará a evitar que los bots tengan éxito.

Es importante considerar implementar algunas o todas las soluciones anteriores en lugar de solo confiar en una de ellas, ya que cada una brindará defensa contra estos bots de formas ligeramente diferentes.

Por ejemplo, si simplemente confió en un cambio de aplicación para evitar la compra de bots, seguirán atacando el resto de su infraestructura e incluso causarán problemas como llenar los archivos de registro de apache o Varnish hasta el punto de que su servidor podría quedarse sin espacio en disco.

Bot bueno vs bot malo: no ignores las señales

En resumen, los bots se están convirtiendo en una amenaza comercial cada vez mayor para los minoristas de comercio electrónico y lidiar con ellos de manera efectiva puede ser muy complejo. Las estimaciones de cuánto tráfico web es realmente humano versus bots varían, pero el consenso general es que hasta el 50% de todo el tráfico web es generado por bots.

Si considera este número y la cantidad de ancho de banda y capacidad que usarán y el hecho de que alrededor del 50% del tráfico de bots proviene de bots "malos" o maliciosos, no es algo que ningún minorista deba ignorar.