كل ما تحتاج لمعرفته حول رأس HTTP X-Robots-Tag

يعتمد تحسين محرك البحث ، بمعناه الأساسي ، على شيء واحد قبل كل شيء آخر: تقوم عناكب محركات البحث بالزحف إلى موقعك وفهرسته.

لكن كل موقع ويب تقريبًا سيحتوي على صفحات لا تريد تضمينها في هذا الاستكشاف.

على سبيل المثال ، هل تريد حقًا ظهور سياسة الخصوصية أو صفحات البحث الداخلية في نتائج Google؟

في أفضل السيناريوهات ، لا تفعل هذه الأشياء شيئًا لتوجيه الزيارات إلى موقعك بشكل نشط ، وفي أسوأ الحالات ، يمكن أن تعمل على تحويل حركة المرور من الصفحات الأكثر أهمية.

لحسن الحظ ، تسمح Google لمشرفي المواقع بإخبار روبوتات محرك البحث بالصفحات والمحتوى الذي يجب الزحف إليه وما يجب تجاهله. هناك عدة طرق للقيام بذلك ، وأكثرها شيوعًا هو استخدام ملف robots.txt أو علامة meta robots.

لدينا شرح ممتاز ومفصل لإدخالات ملف robots.txt ، والذي يجب عليك قراءته بالتأكيد.

ولكن في المصطلحات عالية المستوى ، إنه ملف نصي عادي يعيش في جذر موقع الويب الخاص بك ويتبع بروتوكول استبعاد الروبوتات (REP).

يوفر ملف Robots.txt لبرامج الزحف إرشادات حول الموقع ككل ، بينما تتضمن علامات meta robots توجيهات لصفحات معينة.

تتضمن بعض علامات تعريف الروبوتات التي قد تستخدمها الفهرس ، الذي يخبر محركات البحث بإضافة الصفحة إلى فهرسها ؛ noindex ، التي تخبرها بعدم إضافة صفحة إلى الفهرس أو تضمينها في نتائج البحث ؛ اتبع ، الذي يوجه محرك البحث لاتباع الروابط الموجودة على الصفحة ؛ nofollow ، الذي يخبرها بعدم متابعة الروابط ومجموعة كاملة من الآخرين.

تعد كل من علامات robots.txt و meta robots من الأدوات المفيدة التي يجب الاحتفاظ بها في صندوق الأدوات الخاص بك ، ولكن هناك أيضًا طريقة أخرى لتوجيه روبوتات محرك البحث إلى noindex أو nofollow: X-Robots-Tag .

ما هي علامة X-Robots-Tag؟

تعد X-Robots-Tag طريقة أخرى للتحكم في كيفية قيام العناكب بالزحف إلى صفحات الويب الخاصة بك وفهرستها. كجزء من استجابة رأس HTTP لعنوان URL ، فإنه يتحكم في فهرسة صفحة كاملة ، بالإضافة إلى العناصر المحددة في تلك الصفحة.

وعلى الرغم من أن استخدام علامات meta robots أمر بسيط إلى حد ما ، فإن X-Robots-Tag أكثر تعقيدًا بعض الشيء.

لكن هذا بالطبع يثير السؤال:

متى يجب عليك استخدام X-Robots-Tag؟

وفقًا لـ Google ، "يمكن أيضًا تحديد أي توجيه يمكن استخدامه في علامة وصفية لبرامج الروبوت كعلامة X-Robots-Tag".

بينما يمكنك تعيين التوجيهات ذات الصلة بملف robots.txt في رؤوس استجابة HTTP مع كل من العلامة الوصفية لبرامج الروبوت وعلامة X-Robots ، فهناك مواقف معينة قد ترغب فيها في استخدام X-Robots-Tag - وهما الأكثر شيوعًا يجري عندما:

• تريد التحكم في كيفية الزحف إلى ملفاتك بخلاف ملفات HTML وفهرستها.
• تريد تقديم التوجيهات على مستوى الموقع بدلاً من مستوى الصفحة.

على سبيل المثال ، إذا كنت تريد منع الزحف إلى صورة أو مقطع فيديو معين - فإن طريقة استجابة HTTP تجعل هذا الأمر سهلاً.

يعتبر رأس X-Robots-Tag مفيدًا أيضًا لأنه يسمح لك بدمج علامات متعددة في استجابة HTTP أو استخدام قائمة من التوجيهات مفصولة بفواصل لتحديد التوجيهات.

ربما لا تريد تخزين صفحة معينة مؤقتًا وتريد ألا تكون متاحة بعد تاريخ معين. يمكنك استخدام مزيج من علامتي "noarchive" و "unavailable_after" لإرشاد روبوتات محرك البحث لاتباع هذه التعليمات.

تكمن قوة X-Robots-Tag بشكل أساسي في أنها أكثر مرونة من علامة meta robots.

تتمثل ميزة استخدام X-Robots-Tag مع استجابات HTTP في أنه يسمح لك باستخدام التعبيرات العادية لتنفيذ أوامر الزحف على غير HTML ، بالإضافة إلى تطبيق المعلمات على مستوى عالمي أكبر.

لمساعدتك في فهم الاختلاف بين هذه التوجيهات ، من المفيد تصنيفها حسب النوع. بمعنى ، هل هي توجيهات الزاحف أو توجيهات المفهرس؟

فيما يلي ورقة غش سهلة للشرح:

أين تضع علامة X-Robots-Tag؟

لنفترض أنك تريد حظر أنواع ملفات معينة. تتمثل الطريقة المثالية في إضافة X-Robots-Tag إلى تكوين Apache أو ملف htaccess.

يمكن إضافة X-Robots-Tag إلى استجابات HTTP الخاصة بالموقع في تكوين خادم Apache عبر ملف .htaccess.

أمثلة من العالم الحقيقي واستخدامات لعلامة X-Robots-Tag

هذا يبدو رائعًا من الناحية النظرية ، لكن كيف يبدو في العالم الحقيقي؟ لنلقي نظرة.

لنفترض أننا أردنا ألا تقوم محركات البحث بفهرسة أنواع ملفات .pdf. سيبدو هذا التكوين على خوادم Apache كما يلي:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

في Nginx ، سيبدو كما يلي:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

الآن ، دعونا نلقي نظرة على سيناريو مختلف. لنفترض أننا نريد استخدام X-Robots-Tag لمنع فهرسة ملفات الصور ، مثل .jpg و .gif و .png وما إلى ذلك. يمكنك القيام بذلك باستخدام علامة X-Robots-Tag التي ستبدو كما يلي:

 <ملفات ~ "\. (png | jpe؟ g | gif) $">
مجموعة الرأس X-Robots-Tag "noindex"
</Files>

يرجى ملاحظة أن فهم كيفية عمل هذه التوجيهات وتأثيرها على بعضها البعض أمر بالغ الأهمية.

على سبيل المثال ، ماذا يحدث إذا تم وضع علامة X-Robots-Tag وعلامة meta robots عندما تكتشف روبوتات الزاحف عنوان URL؟

إذا تم حظر عنوان URL هذا من ملف robots.txt ، فلا يمكن اكتشاف توجيهات معينة للفهرسة والعرض ولن يتم اتباعها.

إذا تم اتباع الأوامر ، فلا يمكن منع عناوين URL التي تحتوي على هذه من الزحف.

تحقق من وجود علامة X-Robots-Tag

هناك عدة طرق مختلفة يمكن استخدامها للتحقق من وجود X-Robots-Tag على الموقع.

أسهل طريقة للتحقق هي تثبيت امتداد متصفح يخبرك بمعلومات X-Robots-Tag حول عنوان URL.

لقطة شاشة لمدقق استبعاد الروبوتات ، ديسمبر 2022

مكون إضافي آخر يمكنك استخدامه لتحديد ما إذا كان يتم استخدام X-Robots-Tag ، على سبيل المثال ، هو المكون الإضافي Web Developer.

من خلال النقر على المكون الإضافي في متصفحك والانتقال إلى "عرض رؤوس الاستجابة" ، يمكنك رؤية رؤوس HTTP المتنوعة المستخدمة.

هناك طريقة أخرى يمكن استخدامها للقياس لتحديد المشكلات على مواقع الويب التي تحتوي على مليون صفحة وهي Screaming Frog.

بعد تشغيل موقع من خلال Screaming Frog ، يمكنك الانتقال إلى عمود "X-Robots-Tag".

سيوضح لك هذا أقسام الموقع التي تستخدم العلامة ، بالإضافة إلى التوجيهات المحددة.

لقطة شاشة لتقرير صراخ الضفدع. X-Robot-Tag ، ديسمبر 2022

استخدام X-Robots-Tags على موقعك

يعد فهم كيفية تفاعل محركات البحث مع موقع الويب الخاص بك والتحكم فيها حجر الزاوية في تحسين محرك البحث. و X-Robots-Tag هي أداة قوية يمكنك استخدامها للقيام بذلك.

فقط كن على علم: إنه لا يخلو من مخاطره. من السهل جدًا ارتكاب خطأ وإلغاء فهرسة موقعك بالكامل.

ومع ذلك ، إذا كنت تقرأ هذه المقالة ، فمن المحتمل أنك لست مبتدئًا في تحسين محركات البحث. طالما أنك تستخدمه بحكمة ، خذ وقتك وتحقق من عملك ، ستجد X-Robots-Tag ليكون إضافة مفيدة لترسانتك.

المزيد من الموارد:

• تمنح Google المواقع مزيدًا من التحكم في الفهرسة باستخدام علامة روبوت جديدة
• 6 مشكلات شائعة في ملف robots.txt وكيفية إصلاحها
• مُحسنات محركات البحث الفنية المتقدمة: دليل كامل

الصورة المميزة: Song_about_summer / Shutterstock