Les bons bots, les mauvais bots et les plus gênants entre les deux

Au cours des 18 derniers mois, nous avons constaté une augmentation significative du nombre de robots Web intelligents ciblant des sites Web de commerce électronique spécifiques. À tout le moins, ces bots sont une gêne, et au pire, ils peuvent effectivement provoquer une attaque DDoS et mettre un site Web hors service.

Les bots Web existent depuis longtemps et nous en bénéficions tous. Il existe de bons bots (comme Googlebot ou Bingbot), et il y a de mauvais bots qui tentent automatiquement de pirater une application Web ou d'injecter du spam dans des sites Web. Les bons sont généralement bénéfiques, et les mauvais peuvent souvent être traités par une solution telle qu'un pare-feu d'application Web (WAF) qui reconnaîtra les requêtes malveillantes et les bloquera.

Les bots problématiques sont souvent ceux qui se situent entre le bien et le mal. Ceux-ci peuvent être difficiles à détecter, car ils usurpent souvent l'identité d'un utilisateur normal et font des demandes qui, par eux-mêmes et isolément, sont parfaitement sûrs, légitimes et apparemment inoffensifs.

Bien que leur intention soit normalement autre chose qu'une attaque DDoS, l'effet peut parfois être le même lorsqu'ils sont trop agressifs ou qu'un trop grand nombre d'instances d'un bot frappent un site Web à la fois.

Ces robots sont utilisés commercialement pour un certain nombre de raisons, notamment :

1. Achat automatique de produits (les robots d'achat agressifs peuvent causer de graves problèmes de performances lors des lancements de produits)

2. Agrégation de contenu (votre contenu peut être fait passer pour celui de quelqu'un d'autre)

3. Analyse des prix des concurrents (les concurrents peuvent utiliser ces données pour vous sous-coter)

4. Exploration de contenu agressive (les robots d'exploration agressifs peuvent mettre à rude épreuve votre plate-forme Web)

Exemple concret d'un robot commercial causant de nombreux problèmes

Nous avons un client qui vend souvent des produits en édition limitée très recherchés. Ces produits peuvent souvent rapporter 3 fois le RRP lorsqu'ils sont vendus sur eBay, et le détaillant n'aura qu'un approvisionnement limité à vendre. La plupart de ces produits ont un lancement mondial coordonné et, par conséquent, l'heure exacte du lancement est bien connue.

Au cours des 18 derniers mois, nous avons vu de plus en plus de bots extrêmement agressifs utilisés par milliers pour tenter d'acheter ces produits à un point tel que les performances de la plate-forme de commerce électronique peuvent être sérieusement compromises.

Dans ce cas, les robots ont été spécialement conçus pour le site Web de ce détaillant et connaissent les demandes exactes qui doivent être faites pour ajouter le produit au panier et passer à la caisse. Ils n'ont même pas besoin de visiter la page d'affichage du produit. Ils sont normalement répartis sur plusieurs serveurs cloud avec plusieurs instances du bot installées sur chaque serveur. Étant donné que l'heure de lancement est publique et coordonnée, les bots commencent tous à tenter d'ajouter le produit au panier et passent à la caisse exactement au même moment, normalement plusieurs milliers à la fois.

Le record que nous avons vu est de 3 millions de tentatives d'achat d'un seul produit sur une période de 12 heures.

Étant donné que les demandes sont toutes légitimes et que le bot se fait passer pour un véritable utilisateur, il peut être difficile de bloquer les bots assez rapidement avant qu'ils ne causent des dégâts sans bloquer les vrais utilisateurs. Il ne sert à rien d'attendre 1 minute pour enregistrer le nombre de requêtes effectuées par une adresse IP particulière et, si le nombre dépasse un certain seuil, vous les bloquez alors. À ce stade, le mal a déjà été fait et vous avez des dizaines de milliers de bots simultanément lors de votre paiement.

Les bots désavantagent également les vrais utilisateurs, car vous pouvez garantir que les bots seront les premiers dans la file d'attente pour obtenir les produits, car ils sont chronométrés pour commencer à acheter à la seconde où les produits sont mis en ligne. Bien que le détaillant obtienne évidemment toujours la vente, il peut perdre sa fidélité à la marque à cause de cela, car les clients réels et fidèles seront toujours perdants.

Alors, comment gérez-vous les bons bots et les mauvais bots ?

De nombreuses organisations, telles que les CDN, ont rapidement développé des solutions de gestion des bots au cours de l'année dernière en réponse aux problèmes croissants de bots auxquels les détaillants sont confrontés. Certains, comme la solution de gestion de bot d'Akamai, peuvent être très sophistiqués dans la manière dont ils tentent d'identifier un bot, ainsi que dans les options qu'ils offrent au détaillant dans la manière dont il traite le bot.

Bloquer simplement le bot n'est pas toujours la solution. S'ils savent qu'ils ont été bloqués, ils peuvent simplement passer à une autre adresse IP ou essayer d'évoluer afin de tromper le gestionnaire de bot.

Une meilleure solution consiste à tromper le bot en lui montrant le mauvais contenu (peut-être des prix plus élevés - dans le cas d'un bot utilisé pour analyser les prix des concurrents) ou simplement à le ralentir. C'est également une technique utile à utiliser pour les robots qui ne sont nuisibles que parce qu'ils sont trop agressifs dans leur exploration. Vous ne voulez pas les bloquer complètement, mais vous voulez les ralentir un peu pour réduire l'impact sur votre infrastructure.

Bien qu'une solution de gestion de bots soit certainement un outil utile, il est peu probable qu'elle identifie et arrête tous les bots et, dans le cas réel détaillé ci-dessus, au moment où elle identifierait éventuellement l'utilisateur en tant que bot, il pourrait être trop tard car le mal serait déjà fait. Les robots s'adapteront et évolueront constamment pour empêcher les gestionnaires de robots de les bloquer et c'est donc une cible mouvante.

La solution pour gérer efficacement ces bots comporte plusieurs facettes. Il n'y a pas de solution unique qui captera tout et vous donnera tout le contrôle dont vous avez besoin. Différents services et solutions offriront une protection dans différents domaines contre différents types de bots. Ce n'est qu'en déployant plusieurs défenses et solutions que vous pourrez gérer efficacement ces bots.

4 domaines à prendre en compte lors de l'élaboration d'une stratégie de gestion des bots

Couche CDN

Un CDN peut être une première ligne de défense contre le trafic malveillant ou gênant. La configuration CDN idéale garantit que toutes les requêtes adressées à votre application Web, qu'elles soient ou non mises en cache, sont filtrées via le CDN. Vous pouvez ensuite utiliser des outils que le CDN fournira, tels qu'un WAF, un gestionnaire de bots ou même certaines règles de limitation de débit de base pour protéger votre site Web contre les bots les plus évidents.

Couche WAF

De nombreux détaillants ont une couche WAF située entre leur CDN et leur infrastructure d'hébergement. Un WAF de haute qualité, tel que Imperva WAF, peut être utilisé pour détecter et bloquer automatiquement les requêtes malveillantes telles que celles faites par de nombreux robots malveillants. De plus, des règles personnalisées peuvent être ajoutées pour reconnaître et bloquer ou limiter les robots qui ne sont pas malveillants mais qui peuvent être gênants.

Couche de mise en cache des applications

La mise en œuvre d'un outil tel que Varnish qui se situe entre votre pare-feu et votre application Web peut non seulement améliorer la vitesse et les performances, mais peut également être utilisée pour limiter l'impact des bots agressifs. Un certain nombre de modules Varnish (Vmods) sont disponibles et peuvent être utilisés pour limiter efficacement le taux de requêtes adressées à des URL spécifiques.

Couche d'application

Des modifications peuvent être apportées à votre application pour la protéger des robots agressifs ou gênants.

Par exemple, utiliser des outils simples comme Google reCAPTCHA aux moments pertinents, limiter le nombre d'utilisateurs pouvant ajouter un produit spécifique à leur panier à tout moment ou encore introduire des initiatives telles qu'une tombola pour l'achat de produits exclusifs et en édition limitée afin que ces produits ne peuvent pas être achetés de manière conventionnelle aideront à empêcher les bots de réussir.

Il est important d'envisager de mettre en œuvre certaines ou toutes les solutions ci-dessus plutôt que de se fier uniquement à l'une d'entre elles, car chacune fournira une défense contre ces bots de manière légèrement différente.

Par exemple, si vous comptiez simplement sur un changement d'application pour empêcher l'achat de bots, ils marteleraient toujours le reste de votre infrastructure et causeraient même des problèmes tels que le remplissage des fichiers journaux apache ou Varnish à un point tel que votre serveur pourrait manquer d'espace disque.

Bon bot vs mauvais bot : n'ignorez pas les signes

En résumé, les bots deviennent une menace commerciale croissante pour les détaillants de commerce électronique et les traiter efficacement peut être très complexe. Les estimations de la quantité de trafic Web réellement humain par rapport aux bots varient, mais le consensus général est que jusqu'à 50 % de tout le trafic Web est généré par des bots.

Si vous considérez ce nombre et la quantité de bande passante et de capacité qu'ils utiliseront et le fait qu'environ 50% de ce trafic de bot provient de bots «mauvais» ou malveillants, ce n'est pas quelque chose qu'un détaillant devrait ignorer.