Bons bots, bots ruins e os problemáticos no meio

Nos últimos 18 meses, vimos um aumento significativo no número de webbots inteligentes que visam sites específicos de comércio eletrônico. No mínimo, esses bots são um aborrecimento e, na pior das hipóteses, podem efetivamente causar um ataque DDoS e derrubar um site.

Os bots da Web existem há muito tempo e todos nós nos beneficiamos de muitos deles. Existem bots bons (como Googlebot ou Bingbot), e há bots ruins que tentam automaticamente hackear um aplicativo da web ou injetar spam em sites. Os bons geralmente são benéficos, e os ruins geralmente podem ser tratados por uma solução como um Web Application Firewall (WAF) que reconhecerá solicitações maliciosas e as bloqueará.

Os bots problemáticos geralmente são aqueles que ficam entre o bem e o mal. Eles podem ser difíceis de detectar, pois geralmente se passam por um usuário normal e fazem solicitações que, por conta própria e isoladamente, são perfeitamente seguras, legítimas e aparentemente inofensivas.

Embora sua intenção seja normalmente algo diferente de um ataque DDoS, o efeito às vezes pode ser o mesmo quando eles são muito agressivos ou muitas instâncias de um bot atingem um site ao mesmo tempo.

Esses bots são usados ​​comercialmente por vários motivos, incluindo:

1. Compra automática de produtos (bots de compra agressivos podem causar sérios problemas de desempenho durante o lançamento de produtos)

2. Agregação de conteúdo (seu conteúdo pode ser passado como de outra pessoa)

3. Análise de preços do concorrente (os concorrentes podem usar esses dados para prejudicar você)

4. Rastreamento de conteúdo agressivo (rastreadores agressivos podem sobrecarregar sua plataforma da web)

Exemplo do mundo real de um bot comercial causando muitos problemas

Temos um cliente que muitas vezes vende produtos de edição limitada que são muito procurados. Esses produtos geralmente podem valer 3 vezes o PVP quando vendidos no eBay, e o varejista terá apenas um suprimento limitado para vender. A maioria desses produtos tem um lançamento mundial coordenado e, portanto, o momento exato do lançamento é bem conhecido.

Nos últimos 18 meses, temos visto cada vez mais bots extremamente agressivos usados ​​aos milhares para tentar comprar esses produtos a ponto de comprometer seriamente o desempenho da plataforma de comércio eletrônico.

Nesse caso, os bots foram projetados especificamente para o site desse varejista e conhecem as solicitações exatas que precisam ser feitas para adicionar o produto à cesta e passar pelo checkout. Eles nem precisam visitar a página de exibição do produto. Eles são normalmente distribuídos em vários servidores em nuvem com várias instâncias do bot instaladas em cada servidor. Como o horário de lançamento é público e coordenado, todos os bots começam a tentar adicionar o produto à cesta e passar pelo checkout exatamente ao mesmo tempo, normalmente muitos milhares de uma vez.

O recorde que temos visto é de 3 milhões de tentativas de compra de um único produto em um período de 12 horas.

Como as solicitações são todas legítimas e o bot está se passando por um usuário real, pode ser difícil bloquear os bots com rapidez suficiente antes que eles causem danos sem bloquear usuários reais. Não adianta esperar 1 minuto para registrar quantas solicitações um determinado IP fez e, se o número estiver acima de um determinado limite, você as bloqueia. A essa altura, o estrago já foi feito e você tem dezenas de milhares de bots simultaneamente em seu checkout.

Os bots também prejudicam os usuários reais, pois você pode garantir que os bots serão os primeiros na fila para obter os produtos, pois eles são programados para começar a comprar no segundo em que os produtos forem lançados. Embora o varejista obviamente ainda consiga a venda, ele pode perder a fidelidade à marca por causa disso, pois clientes reais e leais sempre perderão.

Então, como você gerencia bots bons e bots ruins?

Muitas organizações, como CDNs, têm desenvolvido rapidamente soluções de gerenciamento de bots no último ano em resposta aos crescentes problemas com bots que os varejistas estão enfrentando. Alguns, como a solução de gerenciador de bots da Akamai, podem ser muito sofisticados na maneira como tentam identificar um bot, bem como nas opções que ele dará ao varejista sobre como lidar com o bot.

Simplesmente bloquear o bot nem sempre é a resposta. Se eles souberem que foram bloqueados, eles podem simplesmente pular para outro IP ou tentar evoluir para enganar o gerenciador do bot.

Uma solução melhor é enganar o bot mostrando o conteúdo errado (talvez preços mais altos – no caso de um bot usado para analisar os preços do concorrente) ou apenas atrasá-los. Essa também é uma técnica útil para usar em bots que são prejudiciais apenas porque são muito agressivos em seu rastreamento. Você não deseja bloqueá-los completamente, mas deseja desacelerá-los um pouco para reduzir o impacto em sua infraestrutura.

Embora uma solução de gerenciador de bot seja certamente uma ferramenta útil, é improvável que identifique e interrompa todos os bots e, na instância do mundo real detalhada acima, quando possivelmente identificar o usuário como um bot, pode ser tarde demais, pois o estrago já estaria feito. Os bots se adaptarão e evoluirão constantemente para impedir que os gerentes de bot os bloqueiem e, portanto, é um alvo em movimento.

A solução para gerenciar efetivamente esses bots é multifacetada. Não existe uma solução única que pegue tudo e dê a você todo o controle de que você precisa. Diferentes serviços e soluções fornecerão proteção em diferentes áreas contra diferentes tipos de bots. Somente implantando várias defesas e soluções você pode gerenciar esses bots com eficiência.

4 áreas a serem consideradas ao criar uma estratégia de gerenciamento de bots

camada CDN

Uma CDN pode ser a primeira linha de defesa contra tráfego malicioso ou problemático. A configuração ideal da CDN garante que todas as solicitações ao seu aplicativo da Web, sejam armazenadas em cache ou não, sejam filtradas pela CDN. Você pode então usar ferramentas que a CDN fornecerá, como WAF, gerenciador de bots ou até mesmo algumas regras básicas de limitação de taxa para proteger seu site contra os bots mais óbvios.

camada WAF

Muitos varejistas têm uma camada WAF entre seu CDN e sua infraestrutura de hospedagem. Um WAF de alta qualidade, como o Imperva WAF, pode ser usado para detectar e bloquear automaticamente solicitações maliciosas, como as feitas por muitos bots ruins. Além disso, regras personalizadas podem ser adicionadas para reconhecer e bloquear ou limitar os bots que não são maliciosos, mas podem ser problemáticos.

Camada de cache do aplicativo

A implementação de uma ferramenta como o Varnish que fica entre o firewall e o aplicativo da Web pode não apenas melhorar a velocidade e o desempenho, mas também pode ser usada para limitar o impacto de bots agressivos. Estão disponíveis vários módulos Varnish (Vmods) que podem ser usados ​​para limitar efetivamente a taxa de solicitações feitas a URLs específicos.

Camada de aplicação

As alterações podem ser feitas em seu aplicativo para protegê-lo de bots agressivos ou problemáticos.

Por exemplo, usar ferramentas simples como o Google reCAPTCHA em momentos relevantes, limitar o número de usuários que podem adicionar um produto específico à sua cesta a qualquer momento ou até mesmo introduzir iniciativas como sorteio para compra de produtos exclusivos e de edição limitada para que esses produtos não podem ser comprados da maneira convencional, isso ajudará a impedir que os bots sejam bem-sucedidos.

É importante considerar a implementação de algumas ou todas as soluções acima, em vez de apenas confiar em uma delas, pois cada uma fornecerá defesa contra esses bots de maneiras ligeiramente diferentes.

Por exemplo, se você simplesmente confiou em uma mudança de aplicativo para evitar a compra de bots, eles ainda estarão martelando o restante de sua infraestrutura e até causarão problemas como o preenchimento de arquivos de log do Apache ou Varnish a ponto de seu servidor ficar sem espaço em disco.

Bom bot vs mau bot: não ignore os sinais

Em resumo, os bots estão se tornando uma ameaça comercial crescente para os varejistas de comércio eletrônico e lidar com eles de maneira eficaz pode ser muito complexo. As estimativas de quanto tráfego da web é realmente humano versus bots variam, mas o consenso geral é que até 50% de todo o tráfego da web é gerado por bots.

Se você considerar esse número e a quantidade de largura de banda e capacidade que eles usarão e o fato de que cerca de 50% desse tráfego de bots é de bots 'ruins' ou maliciosos, não é algo que qualquer varejista deva ignorar.