좋은 봇, 나쁜 봇, 그리고 그 사이의 귀찮은 봇

지난 18개월 동안 특정 전자 상거래 웹 사이트를 대상으로 하는 지능형 웹 봇의 수가 크게 증가했습니다. 최소한 이러한 봇은 성가심이며 최악의 경우 DDoS 공격을 효과적으로 유발하고 웹사이트를 다운시킬 수 있습니다.

웹 봇은 오랫동안 사용되어 왔으며 우리 모두는 그 중 많은 혜택을 받고 있습니다. 좋은 봇(예: Googlebot 또는 Bingbot)이 있고 자동으로 웹 애플리케이션 해킹을 시도하거나 웹사이트에 스팸을 주입하는 나쁜 봇이 있습니다. 좋은 것은 일반적으로 유익하고 나쁜 것은 종종 악의적인 요청을 인식하고 차단하는 WAF(웹 응용 프로그램 방화벽)와 같은 솔루션으로 처리할 수 있습니다.

문제가 되는 봇은 선과 악 사이에 있는 봇인 경우가 많습니다. 이들은 종종 일반 사용자를 가장하고 단독으로 완벽하게 안전하고 합법적이며 겉보기에 무해한 요청을 하기 때문에 감지하기 어려울 수 있습니다.

그들의 의도는 일반적으로 DDoS 공격이 아닌 다른 것이지만, 너무 공격적이거나 너무 많은 봇 인스턴스가 한 번에 웹 사이트를 공격하는 경우 효과가 때때로 동일할 수 있습니다.

이러한 봇은 다음과 같은 여러 가지 이유로 상업적으로 사용됩니다.

1. 제품 자동 구매(공격적인 구매 봇은 제품 출시 중 심각한 성능 문제를 일으킬 수 있음)

2. 콘텐츠 집계(내 콘텐츠가 다른 사람의 콘텐츠로 전달될 수 있음)

3. 경쟁사 가격 분석(경쟁사는 이 데이터를 사용하여 귀하를 낮출 수 있음)

4. 공격적인 콘텐츠 크롤링(공격적인 크롤러는 웹 플랫폼에 부담을 줄 수 있음)

많은 문제를 일으키는 상업용 봇의 실제 예

우리는 종종 매우 인기 있는 한정판 제품을 판매하는 고객이 있습니다. 이러한 제품은 종종 eBay에서 판매될 때 RRP의 3배에 달할 수 있으며 소매업체는 제한된 공급량만 판매할 수 있습니다. 이러한 제품의 대부분은 전 세계적으로 조화롭게 출시되므로 정확한 출시 시간은 잘 알려져 있습니다.

지난 18개월 동안 우리는 전자 상거래 플랫폼의 성능이 심각하게 손상될 수 있는 정도까지 이러한 제품을 구매하려고 시도하는 수천 명의 극도로 공격적인 봇을 점점 더 많이 목격했습니다.

이 경우 봇은 이 소매업체의 웹사이트를 위해 특별히 설계되었으며 제품을 장바구니에 추가하고 결제를 진행하기 위해 필요한 정확한 요청을 알고 있습니다. 그들은 제품 전시 페이지를 방문할 필요조차 없습니다. 일반적으로 각 서버에 설치된 봇의 여러 인스턴스와 함께 여러 클라우드 서버에 배포됩니다. 출시 시간이 공개되고 조정되기 때문에 봇은 모두 제품을 장바구니에 추가하기 시작하고 정확히 같은 시간에 결제를 진행합니다. 일반적으로 한 번에 수천 개가 있습니다.

우리가 본 기록은 12시간 동안 단일 제품을 구매하려는 3백만 번의 시도입니다.

요청이 모두 합법적이고 봇이 실제 사용자를 가장하기 때문에 실제 사용자를 차단하지 않고 피해를 입히기 전에 봇을 신속하게 차단하기 어려울 수 있습니다. 특정 IP가 얼마나 많은 요청을 했는지 기록하기 위해 1분을 기다리는 것은 의미가 없으며 숫자가 특정 임계값을 초과하면 차단합니다. 이 시점에서 손상은 이미 완료되었으며 체크아웃에 동시에 수만 개의 봇이 있습니다.

봇은 또한 실제 사용자에게 불리하게 작용합니다. 봇은 제품이 출시되는 두 번째 시간에 구매를 시작하기 때문에 봇이 제품을 받기 위해 가장 먼저 대기열에 있게 될 것임을 보장할 수 있습니다. 소매업체는 분명히 여전히 판매를 하고 있지만 실제 충성도가 높은 고객은 항상 손해를 볼 것이기 때문에 이로 인해 브랜드 충성도를 잃을 수 있습니다.

그렇다면 좋은 봇과 나쁜 봇은 어떻게 관리합니까?

CDN과 같은 많은 조직은 소매업체가 직면한 봇 문제가 증가함에 따라 작년에 봇 관리 솔루션을 빠르게 개발해 왔습니다. Akamai의 봇 관리자 솔루션과 같은 일부 솔루션은 봇을 식별하려고 시도하는 방식과 소매업체에 봇을 처리하는 방법에 대해 제공하는 옵션이 매우 정교할 수 있습니다.

단순히 봇을 차단하는 것이 항상 답은 아닙니다. 차단되었다는 것을 알게 되면 다른 IP로 점프하거나 봇 관리자를 속이기 위해 진화를 시도할 수 있습니다.

더 나은 솔루션은 잘못된 콘텐츠(경쟁업체의 가격을 분석하는 데 사용되는 봇의 경우 더 높은 가격일 수 있음)를 보여줌으로써 봇을 속이거나 속도를 늦추는 것입니다. 이것은 크롤링에 너무 공격적이기 때문에 유해한 봇에 사용하는 유용한 기술이기도 합니다. 완전히 차단하고 싶지는 않지만 인프라에 대한 영향을 줄이기 위해 속도를 약간 늦추고 싶습니다.

봇 관리자 솔루션은 확실히 유용한 도구이지만 모든 봇을 식별하고 중지할 수는 없으며 위에서 설명한 실제 사례에서 사용자를 봇으로 식별할 수 있을 때까지는 너무 늦을 수 있습니다. 이미 피해를 입었을 것입니다. 봇은 봇 관리자가 봇을 차단하지 못하도록 끊임없이 적응하고 진화하므로 움직이는 표적입니다.

이러한 봇을 효과적으로 관리하기 위한 솔루션은 다면적입니다. 모든 것을 포착하고 필요한 모든 제어를 제공하는 단일 솔루션은 없습니다. 다양한 서비스와 솔루션은 다양한 유형의 봇에 대해 다양한 영역에서 보호 기능을 제공합니다. 여러 방어책과 솔루션을 배포해야만 이러한 봇을 효과적으로 관리할 수 있습니다.

봇 관리 전략을 구축할 때 고려해야 할 4가지 영역

CDN 레이어

CDN은 악의적이거나 성가신 트래픽에 대한 첫 번째 방어선이 될 수 있습니다. 이상적인 CDN 구성은 웹 애플리케이션에 대한 모든 요청이 캐시 가능 여부와 상관없이 CDN을 통해 필터링되도록 합니다. 그런 다음 WAF, 봇 관리자 또는 기본적인 속도 제한 규칙과 같이 CDN이 제공하는 도구를 사용하여 가장 명백한 봇으로부터 웹사이트를 보호할 수 있습니다.

WAF 레이어

많은 소매업체에는 CDN과 호스팅 인프라 사이에 WAF 레이어가 있습니다. Imperva WAF와 같은 고품질 WAF를 사용하여 많은 악성 봇이 만든 것과 같은 악성 요청을 자동으로 감지하고 차단할 수 있습니다. 또한 사용자 지정 규칙을 추가하여 악성은 아니지만 문제가 될 수 있는 봇을 인식하고 차단하거나 제한할 수 있습니다.

애플리케이션 캐싱 레이어

방화벽과 웹 애플리케이션 사이에 있는 Varnish와 같은 도구를 구현하면 속도와 성능을 향상시킬 수 있을 뿐만 아니라 공격적인 봇의 영향을 제한하는 데 사용할 수도 있습니다. 특정 URL에 대한 요청 비율을 효과적으로 제한하는 데 사용할 수 있는 다양한 Varnish 모듈(Vmod)을 사용할 수 있습니다.

애플리케이션 레이어

공격적이거나 성가신 봇으로부터 보호하기 위해 애플리케이션을 변경할 수 있습니다.

예를 들어 Google reCAPTCHA와 같은 간단한 도구를 적절한 시기에 사용하거나 특정 제품을 장바구니에 한 번에 추가할 수 있는 사용자의 수를 제한하거나 독점 및 한정판 제품 구매를 위한 추첨과 같은 이니셔티브를 도입하여 이러한 제품은 기존 방식으로 구매할 수 없으므로 봇의 성공을 방지하는 데 도움이 됩니다.

각각이 약간 다른 방식으로 이러한 봇에 대한 방어를 제공하므로 위 솔루션 중 하나에만 의존하기보다 위의 솔루션 중 일부 또는 전체를 구현하는 것을 고려하는 것이 중요합니다.

예를 들어 봇 구매를 방지하기 위해 단순히 애플리케이션 변경에 의존하는 경우 봇은 여전히 ​​나머지 인프라를 망치고 심지어 서버의 디스크 공간이 부족할 정도로 아파치 또는 Varnish 로그 파일을 채우는 것과 같은 문제를 일으킬 수 있습니다.

좋은 봇 vs 나쁜 봇: 신호를 무시하지 마십시오

요약하면 봇은 전자 상거래 소매업체에 대한 상업적 위협이 증가하고 있으며 이를 효과적으로 처리하는 것은 매우 복잡할 수 있습니다. 실제로 사람과 봇에 대한 웹 트래픽의 추정치는 다양하지만 일반적으로 모든 웹 트래픽의 최대 50%가 봇에 의해 생성된다는 데 동의합니다.

이 숫자와 그들이 사용할 대역폭 및 용량의 양, 그리고 해당 봇 트래픽의 약 50%가 '나쁜' 봇이나 악성 봇에서 발생한다는 사실을 고려한다면 소매업체가 무시할 일이 아닙니다.