Хорошие боты, плохие боты и проблемные между ними

За последние 18 месяцев мы наблюдаем значительное увеличение числа интеллектуальных веб-ботов, нацеленных на определенные веб-сайты электронной коммерции. По крайней мере, эти боты вызывают раздражение, а в худшем они могут эффективно вызвать DDoS-атаку и вывести веб-сайт из строя.

Веб-боты существуют уже давно, и многие из них приносят пользу всем нам. Есть хорошие боты (такие как Googlebot или Bingbot), а есть плохие боты, которые автоматически пытаются взломать веб-приложение или рассылать спам на веб-сайты. Хорошие, как правило, полезны, а с плохими часто можно справиться с помощью такого решения, как брандмауэр веб-приложений (WAF), который распознает вредоносные запросы и блокирует их.

Проблемные боты часто находятся между хорошими и плохими. Их может быть трудно обнаружить, поскольку они часто выдают себя за обычного пользователя и отправляют запросы, которые сами по себе и изолированно совершенно безопасны, легитимны и кажутся безвредными.

Хотя их намерения обычно не являются DDoS-атакой, эффект иногда может быть таким же, когда они либо слишком агрессивны, либо слишком много раз бот поражает веб-сайт одновременно.

Эти боты используются в коммерческих целях по ряду причин, в том числе:

1. Автоматическая покупка продуктов (агрессивные боты-покупатели могут вызвать серьезные проблемы с производительностью во время запуска продукта)

2. Агрегация контента (ваш контент может быть выдан за чужой)

3. Анализ цен конкурентов (конкуренты могут использовать эти данные, чтобы подбить вас)

4. Агрессивное сканирование контента (агрессивные сканеры могут создать нагрузку на вашу веб-платформу)

Реальный пример коммерческого бота, вызывающего множество проблем

У нас есть клиент, который часто продает товары с ограниченным тиражом, которые пользуются большим спросом. Эти продукты часто могут стоить в 3 раза дороже RRP при продаже на eBay, и у розничного продавца будет только ограниченный запас для продажи. Большинство этих продуктов имеют скоординированный запуск по всему миру, поэтому точное время запуска хорошо известно.

За последние 18 месяцев мы все чаще видели чрезвычайно агрессивных ботов, использовавшихся многими тысячами, чтобы попытаться приобрести эти продукты до такой степени, что производительность платформы электронной коммерции может быть серьезно скомпрометирована.

В этом случае боты были специально разработаны для веб-сайта этого продавца и знают точные запросы, которые необходимо сделать, чтобы добавить продукт в корзину и пройти через кассу. Им даже не нужно посещать страницу отображения продукта. Обычно они распределяются по нескольким облачным серверам с несколькими экземплярами бота, установленными на каждом сервере. Поскольку время запуска является общедоступным и скоординированным, все боты начинают пытаться добавить продукт в корзину и пройти кассу в одно и то же время, обычно много тысяч одновременно.

Рекорд, который мы видели, — 3 миллиона попыток купить один продукт за 12 часов.

Поскольку все запросы являются законными, а бот выдает себя за реального пользователя, может быть сложно заблокировать ботов достаточно быстро, прежде чем они нанесут ущерб, не блокируя реальных пользователей. Нет смысла ждать 1 минуту, чтобы записать, сколько запросов сделал конкретный IP-адрес, и, если число превышает определенный порог, вы затем блокируете их. К этому моменту ущерб уже нанесен, и у вас на кассе одновременно находятся десятки тысяч ботов.

Боты также ставят в невыгодное положение реальных пользователей, так как вы можете гарантировать, что боты будут первыми в очереди на получение продуктов, так как они начинают покупать сразу после запуска продуктов. Хотя розничный продавец, очевидно, по-прежнему получает продажи, он может потерять лояльность к бренду из-за этого, поскольку настоящие и лояльные покупатели всегда будут в проигрыше.

Итак, как вы управляете хорошими ботами и плохими ботами?

Многие организации, такие как CDN, в течение последнего года быстро разрабатывали решения для управления ботами в ответ на растущие проблемы с ботами, с которыми сталкиваются розничные торговцы. Некоторые из них, такие как решение Akamai для управления ботами, могут быть очень сложными в том, как они пытаются идентифицировать бота, а также с вариантами, которые оно предоставляет розничному продавцу в отношении того, как они работают с ботом.

Просто заблокировать бота — не всегда выход. Если они знают, что их заблокировали, они могут просто перейти на другой IP-адрес или попытаться измениться, чтобы обмануть менеджера ботов.

Лучшее решение — обмануть бота, показав ему неправильный контент (возможно, более высокие цены — в случае бота, используемого для анализа цен конкурентов) или просто замедлить его. Это также полезный метод для ботов, которые наносят вред только потому, что они слишком агрессивны в своем сканировании. Вы не хотите блокировать их полностью, но вы хотите немного замедлить их, чтобы уменьшить влияние на вашу инфраструктуру.

Хотя решение для управления ботами, безусловно, является полезным инструментом, оно вряд ли сможет идентифицировать и остановить всех ботов, а в описанном выше реальном примере к тому времени, когда оно, возможно, идентифицирует пользователя как бота, может быть уже слишком поздно. ущерб был бы уже нанесен. Боты будут постоянно адаптироваться и развиваться, чтобы менеджеры ботов не блокировали их, поэтому это движущаяся цель.

Решение для эффективного управления этими ботами многогранно. Не существует единого решения, которое улавливает все и дает вам полный контроль, который вам нужен. Разные сервисы и решения дадут защиту в разных областях от разных видов ботов. Только развернув несколько средств защиты и решений, вы сможете эффективно управлять этими ботами.

4 области, которые следует учитывать при построении стратегии управления ботами

уровень CDN

CDN может быть первой линией защиты от вредоносного или неприятного трафика. Идеальная конфигурация CDN гарантирует, что все запросы к вашему веб-приложению, независимо от того, кэшируются они или нет, фильтруются через CDN. Затем вы можете использовать инструменты, которые предоставит CDN, такие как WAF, менеджер ботов или даже некоторые базовые правила ограничения скорости, чтобы защитить свой сайт от наиболее очевидных ботов.

слой WAF

У многих ритейлеров есть слой WAF, расположенный между их CDN и инфраструктурой хостинга. Высококачественный WAF, такой как Imperva WAF, можно использовать для автоматического обнаружения и блокировки вредоносных запросов, таких как запросы, исходящие от многих вредоносных ботов. Кроме того, можно добавить настраиваемые правила для распознавания и блокировки или ограничения тех ботов, которые не являются вредоносными, но могут создавать проблемы.

Уровень кэширования приложений

Внедрение такого инструмента, как Varnish, который находится между вашим брандмауэром и вашим веб-приложением, может не только повысить скорость и производительность, но также может использоваться для ограничения воздействия агрессивных ботов. Доступен ряд модулей Varnish (Vmods), которые можно использовать для эффективного ограничения скорости запросов к определенным URL-адресам.

Прикладной уровень

В ваше приложение могут быть внесены изменения, чтобы защитить его от агрессивных или неприятных ботов.

Например, используя простые инструменты, такие как Google reCAPTCHA, в соответствующее время, ограничивая количество пользователей, которые могут добавлять определенный продукт в свою корзину в любой момент, или даже внедряя такие инициативы, как розыгрыш эксклюзивных и ограниченных выпусков продуктов, чтобы эти продукты нельзя купить обычным способом, это поможет предотвратить успех ботов.

Важно рассмотреть возможность реализации некоторых или всех вышеперечисленных решений, а не полагаться только на одно из них, поскольку каждое из них будет обеспечивать защиту от этих ботов немного по-разному.

Например, если вы просто полагались на изменение приложения, чтобы предотвратить покупку ботов, они все равно будут забивать остальную часть вашей инфраструктуры и даже вызывать такие проблемы, как заполнение файлов журналов apache или Varnish до такой степени, что на вашем сервере может не хватить места на диске.

Хороший бот против плохого бота: не игнорируйте знаки

Таким образом, боты становятся все большей коммерческой угрозой для розничных продавцов электронной коммерции, и эффективно бороться с ними может быть очень сложно. Оценки того, сколько веб-трафика на самом деле приходится на людей по сравнению с ботами, различаются, но общее мнение состоит в том, что до 50% всего веб-трафика генерируется ботами.

Если учесть это число, а также пропускную способность и емкость, которые они будут использовать, а также тот факт, что около 50% этого бот-трафика приходится на «плохих» или вредоносных ботов, это не то, что любой розничный продавец должен игнорировать.