الروبوتات الجيدة ، والروبوتات السيئة ، والمزعجة بينهما

على مدار الثمانية عشر شهرًا الماضية ، شهدنا زيادة كبيرة في عدد روبوتات الويب الذكية التي تستهدف مواقع التجارة الإلكترونية المحددة. على الأقل ، تعد هذه الروبوتات مصدر إزعاج ، وفي أسوأ الأحوال يمكن أن تتسبب بشكل فعال في هجوم DDoS وتعطيل موقع ويب.

كانت روبوتات الويب موجودة منذ فترة طويلة ونحن جميعًا نستفيد من العديد منها. هناك روبوتات جيدة (مثل Googlebot أو Bingbot) ، وهناك روبوتات سيئة تحاول تلقائيًا اختراق تطبيق ويب أو إدخال بريد عشوائي في مواقع الويب. تعد الأشياء الجيدة مفيدة بشكل عام ، ويمكن التعامل مع الأشياء السيئة غالبًا عن طريق حل مثل جدار حماية تطبيقات الويب (WAF) الذي سيتعرف على الطلبات الضارة ويمنعها.

غالبًا ما تكون الروبوتات المسببة للمشاكل هي تلك التي تقع بين الجيد والسيئ. قد يكون من الصعب اكتشافها ، لأنها غالبًا ما تنتحل شخصية مستخدم عادي وتقدم طلبات ، بمفردها وبمعزل ، آمنة تمامًا ومشروعة وغير ضارة على ما يبدو.

على الرغم من أن نواياهم عادةً ما تكون شيئًا آخر غير هجوم DDoS ، إلا أن التأثير قد يكون في بعض الأحيان هو نفسه عندما يكونون إما عنيفين للغاية أو عندما يصطدم عدد كبير جدًا من الروبوتات بموقع ويب في وقت واحد.

تُستخدم برامج الروبوت هذه تجاريًا لعدد من الأسباب بما في ذلك:

1. الشراء التلقائي للمنتجات (يمكن أن تتسبب روبوتات الشراء المكثفة في حدوث مشكلات خطيرة في الأداء أثناء إطلاق المنتج)

2. تجميع المحتوى (يمكن تمرير المحتوى الخاص بك على أنه خاص بشخص آخر)

3. تحليل أسعار المنافسين (يمكن للمنافسين استخدام هذه البيانات لتقويضك)

4. الزحف العدواني للمحتوى (يمكن أن تضغط برامج الزحف العدوانية على نظام الويب الخاص بك)

مثال واقعي لروبوت تجاري يسبب الكثير من المشكلات

لدينا عميل يبيع في كثير من الأحيان منتجات ذات إصدارات محدودة مطلوبة بشدة. غالبًا ما تجلب هذه المنتجات 3 أضعاف سعر التجزئة الموصى به عند بيعها على موقع eBay ، ولن يكون لدى بائع التجزئة سوى كمية محدودة للبيع. معظم هذه المنتجات لها إطلاق منسق عالميًا وبالتالي فإن الوقت المحدد للإطلاق معروف جيدًا.

على مدار الثمانية عشر شهرًا الماضية ، رأينا بشكل متزايد روبوتات شديدة العدوانية تُستخدم بالآلاف لمحاولة شراء هذه المنتجات إلى حد يمكن أن يتعرض فيه أداء منصة التجارة الإلكترونية للخطر بشكل خطير.

في هذه الحالة ، تم تصميم برامج الروبوت خصيصًا لموقع ويب بائع التجزئة هذا ، وتعرف الطلبات الدقيقة التي يجب إجراؤها لإضافة المنتج إلى السلة والمرور في عملية الدفع. لا يحتاجون حتى إلى زيارة صفحة عرض المنتج. يتم توزيعها عادةً عبر خوادم سحابية متعددة مع تثبيت مثيلات متعددة للروبوت على كل خادم. نظرًا لأن وقت الإطلاق عام ومنسق ، تبدأ الروبوتات جميعًا في محاولة إضافة المنتج إلى السلة والمرور بإجراءات الخروج في نفس الوقت بالضبط ، عادةً عدة آلاف في وقت واحد.

الرقم القياسي الذي رأيناه هو 3 ملايين محاولة لشراء منتج واحد في فترة 12 ساعة.

نظرًا لأن الطلبات كلها مشروعة وأن الروبوت ينتحل شخصية مستخدم حقيقي ، فقد يكون من الصعب حظر الروبوتات بسرعة كافية قبل أن تتسبب في الضرر دون حظر المستخدمين الحقيقيين. لا جدوى من الانتظار لمدة دقيقة واحدة لتسجيل عدد الطلبات التي قدمها عنوان IP معين ، وإذا تجاوز الرقم حدًا معينًا ، فيمكنك حينئذٍ حظرها. عند هذه النقطة ، يكون الضرر قد حدث بالفعل ولديك عشرات الآلاف من الروبوتات في وقت واحد عند تسجيل الخروج.

كما تضر الروبوتات أيضًا بالمستخدمين الحقيقيين ، حيث يمكنك ضمان أن تكون الروبوتات هي الأولى في قائمة الانتظار للحصول على المنتجات ، حيث يتم توقيتها لبدء شراء المنتجات الثانية. على الرغم من أنه من الواضح أن بائع التجزئة لا يزال يحصل على البيع ، إلا أنه قد يفقد ولاء العلامة التجارية بسبب هذا لأن العملاء الحقيقيين والمخلصين سيخسرون دائمًا.

إذن كيف تدير برامج التتبُّع الجيدة والروبوتات السيئة؟

قامت العديد من المؤسسات ، مثل شبكات CDN ، بتطوير حلول إدارة الروبوتات بسرعة خلال العام الماضي استجابةً للمشاكل المتزايدة مع برامج الروبوت التي يواجهها تجار التجزئة. يمكن أن يكون البعض ، مثل حل مدير الروبوتات الخاص بـ Akamai ، معقدًا للغاية من حيث الطريقة التي يحاولون بها التعرف على الروبوت ، بالإضافة إلى الخيارات التي سيوفرها للبائع في كيفية تعامله مع الروبوت.

إن مجرد حظر الروبوت ليس هو الحل دائمًا. إذا علموا أنه تم حظرهم ، فيمكنهم فقط الانتقال إلى عنوان IP آخر أو محاولة التطور من أجل خداع مدير الروبوت.

الحل الأفضل هو خداع الروبوت من خلال عرض المحتوى الخاطئ عليه (ربما أسعار أعلى - في حالة استخدام الروبوت لتحليل أسعار المنافسين) أو إبطائه فقط. يعد هذا أيضًا أسلوبًا مفيدًا للاستخدام مع الروبوتات الضارة فقط لأنها شديدة العدوانية في الزحف. أنت لا تريد حظرها تمامًا ، لكنك تريد إبطائها قليلاً لتقليل التأثير على البنية التحتية الخاصة بك.

على الرغم من أن حل مدير الروبوت هو بالتأكيد أداة مفيدة ، إلا أنه من غير المحتمل تحديد جميع برامج الروبوت وإيقافها ، وفي حالة العالم الواقعي الموضحة أعلاه ، بحلول الوقت الذي قد يتم فيه تحديد المستخدم على أنه روبوت ، فقد يكون الأوان قد فات. سيكون الضرر قد حدث بالفعل. سوف تتكيف الروبوتات وتتطور باستمرار لمنع مديري الروبوتات من منعها وبالتالي فهي هدف متحرك.

الحل لإدارة هذه الروبوتات بشكل فعال متعدد الأوجه. لا يوجد حل واحد ، واحد ، يمكنه التقاط كل شيء ويمنحك كل التحكم الذي تحتاجه. ستوفر الخدمات والحلول المختلفة الحماية في مناطق مختلفة ضد أنواع مختلفة من الروبوتات. فقط من خلال نشر دفاعات وحلول متعددة يمكنك إدارة هذه الروبوتات بشكل فعال.

4 مجالات يجب مراعاتها عند بناء استراتيجية إدارة الروبوت

طبقة CDN

يمكن أن تكون شبكة CDN خط الدفاع الأول ضد حركة المرور الضارة أو المزعجة. يضمن تكوين CDN المثالي تصفية جميع الطلبات الواردة إلى تطبيق الويب الخاص بك ، سواء أكانت قابلة للفرد أم لا ، من خلال CDN. يمكنك بعد ذلك استخدام الأدوات التي ستوفرها شبكة CDN مثل WAF أو مدير الروبوت أو حتى بعض القواعد الأساسية لتقييد المعدل لحماية موقع الويب الخاص بك من برامج الروبوت الأكثر وضوحًا.

طبقة WAF

لدى العديد من تجار التجزئة طبقة WAF تقع بين CDN والبنية التحتية للاستضافة الخاصة بهم. يمكن استخدام WAF عالي الجودة ، مثل Imperva WAF ، لاكتشاف ومنع الطلبات الضارة تلقائيًا مثل تلك التي يتم إجراؤها بواسطة العديد من برامج الروبوت السيئة. بالإضافة إلى ذلك ، يمكن إضافة قواعد مخصصة للتعرف على تلك الروبوتات غير الضارة ولكنها قد تكون مزعجة وحظرها أو تقييدها.

طبقة التخزين المؤقت للتطبيق

لا يمكن أن يؤدي تنفيذ أداة مثل Varnish بين جدار الحماية وتطبيق الويب الخاص بك إلى تحسين السرعة والأداء فحسب ، بل يمكن أيضًا استخدامها للحد من تأثير برامج الروبوت العدوانية. يتوفر عدد من وحدات الورنيش (Vmods) التي يمكن استخدامها للحد بشكل فعال من معدل الطلبات التي يتم إجراؤها لعناوين URL محددة.

طبقة التطبيقات

يمكن إجراء تغييرات على التطبيق الخاص بك لحمايته من الروبوتات العدوانية أو المزعجة.

على سبيل المثال ، باستخدام أدوات بسيطة مثل Google reCAPTCHA في الأوقات ذات الصلة ، والحد من عدد المستخدمين الذين يمكنهم إضافة منتج معين إلى سلة التسوق الخاصة بهم في أي وقت أو حتى تقديم مبادرات مثل السحب لشراء منتجات ذات إصدار حصري ومحدود بحيث هذه المنتجات التي لا يمكن شراؤها بالطريقة التقليدية ستساعد على منع الروبوتات من النجاح.

من المهم التفكير في تنفيذ بعض الحلول المذكورة أعلاه أو جميعها بدلاً من الاعتماد فقط على أحدها حيث سيوفر كل منها دفاعًا ضد هذه الروبوتات بطرق مختلفة قليلاً.

على سبيل المثال ، إذا كنت تعتمد ببساطة على تغيير التطبيق لمنع شراء برامج الروبوت ، فستظل تعمل على تدمير بقية البنية التحتية الخاصة بك وحتى تتسبب في حدوث مشكلات مثل ملء ملفات سجلات apache أو Varnish إلى الحد الذي قد ينفد فيه خادمك من مساحة القرص.

البوت الجيد مقابل البوت السيئ: لا تتجاهل الإشارات

باختصار ، أصبحت الروبوتات تشكل تهديدًا تجاريًا متزايدًا لتجار التجزئة في التجارة الإلكترونية ويمكن أن يكون التعامل معها بشكل فعال أمرًا معقدًا للغاية. تختلف تقديرات مقدار حركة مرور الويب بين البشر مقابل الروبوتات ، لكن الإجماع العام هو أن ما يصل إلى 50٪ من حركة مرور الويب يتم إنشاؤها بواسطة برامج الروبوت.

إذا كنت تفكر في هذا الرقم ومقدار النطاق الترددي والسعة التي سيستخدمونها وحقيقة أن حوالي 50 ٪ من حركة مرور الروبوت هذه تأتي من روبوتات `` سيئة '' أو ضارة ، فهذا ليس شيئًا يجب على أي بائع تجزئة تجاهله.