دليل المبتدئين للزحف على الويب

سواء كنت مالك موقع ويب أو محترفًا في تحسين محركات البحث ، فمن الضروري فهم الزحف إلى موقع الويب ، وكيف تزحف محركات البحث إلى مواقع الويب وصفحات الويب ، وكيف تصنف (أو تقرر عدم تصنيف) صفحة لاستعلام بحث معين.

يعد الزحف إلى موقع الويب عملية فنية ، ولكي نكون صادقين ، لا تحتاج إلى فهم الجانب التقني وراء الأشياء. فقط فهم المفهوم الرئيسي وما يمكنك القيام به لتسهيل الزحف إلى موقع الويب لمحركات البحث مثل Google يمكن أن يساعدك في جعل موقع الويب الخاص بك أكثر ملاءمة لمحركات البحث ، واتباع أفضل ممارسات تحسين محركات البحث ، والحصول على ترتيب أعلى في صفحات نتائج محرك البحث (SERPs).

في هذا المنشور ، سنناقش:

• ما هو الزحف على الموقع
• الأنواع المختلفة من الزحف إلى موقع الويب
• كيف يبدو مستقبل الزحف إلى مواقع الويب في عام 2022 وما بعده
• كيف يمكنك تسهيل الزحف إلى موقع الويب لجوجل

لنأخذها من القمة.

ما هو زحف الويب؟

قبل أن نتعمق أكثر في هذا الأمر ، من المهم أن نفهم ما هو زحف الويب.

يشير الزحف إلى العملية التي تكتشف من خلالها محركات البحث المحتوى الجديد والمحدث على الإنترنت. تقوم محركات البحث بذلك عن طريق إرسال برامج الزحف (المعروفة أيضًا باسم الروبوتات أو الروبوتات أو العناكب).

تقوم هذه الروبوتات "بالزحف" إلى الإنترنت لمعرفة ما إذا كانت هناك صفحة جديدة يمكنها فهرستها على SERPs. وبالمثل ، تبحث هذه الروبوتات أيضًا عن الصفحات التي تم تحديثها مؤخرًا بمحتوى جديد.

يمكن أن يختلف نوع "المحتوى" - من صفحات الويب إلى الصور إلى مقاطع الفيديو إلى ملفات PDF.

القيود التي تواجهها برامج زحف الويب

كما يمكنك أن تتخيل ، من الصعب جلب كل صفحة ويب على الإنترنت والزحف إليها بحثًا عن محتوى جديد. وذلك بسبب الحجم الهائل لصفحات الويب على الإنترنت. بالإضافة إلى ذلك ، تظهر الملايين والملايين من الصفحات الجديدة على الويب يوميًا.

هذا يتطلب الكثير من الموارد الحسابية ، مما قد يؤدي إلى مشاكل الاستدامة. سنتحدث أكثر عن هذا لاحقًا في هذه المقالة ، وما يعنيه هذا لمستقبل زحف الويب ، والتأثير المحتمل لهذا القيد على مشرفي المواقع ومحترفي تحسين محركات البحث.

في الوقت الحالي ، يجب أن تفهم كيف تحاول هذه الزواحف أو العناكب التغلب على هذه المشكلة من خلال أن تصبح أكثر كفاءة وكيف يمكنك الاستفادة من ذلك لصالحك.

عادةً ما تجلب عناكب الزحف بضع صفحات ويب وتزحف إليها. ثم يتابعون الروابط (الروابط الداخلية والروابط الخارجية) على صفحات الويب هذه للعثور على عناوين URL جديدة للزحف والفهرسة. يساعد ذلك برامج الزحف على أن تصبح أكثر كفاءة في بناء قاعدة بيانات ضخمة لعناوين URL.

وهذا هو السبب في أن إضافة روابط إلى صفحات على صفحات الويب الخاصة بك - وخاصة الروابط الداخلية ذات الصلة بالسياق لصفحات أخرى هي ممارسة موصى بها لتحسين محركات البحث.

نوعان من زحف الويب

وفقًا لـ Google ، هناك نوعان من زحف الويب:

1. اكتشاف
2. ينعش

"عندما يتعلق الأمر بالزحف ، لدينا نوعان من الزحف. الأول هو اكتشاف الزحف حيث نحاول اكتشاف صفحات جديدة على موقع الويب الخاص بك. والآخر هو تحديث الزحف حيث نقوم بتحديث الصفحات الحالية التي نعرف عنها "، كما يقول جون مولر من Google.

يعتمد تكرار الزحف - بصرف النظر عن نوع الزحف - أيضًا على مدى تكرار تحديث المحتوى على موقع الويب أو صفحة الويب الخاصة بك. على سبيل المثال ، إذا تم تحديث الصفحة الرئيسية لموقع الويب الخاص بك بانتظام أكثر من الصفحات الأخرى ، فمن المحتمل أن ترى المزيد من نشاط الزحف على تلك الصفحة.

وكما أوضحنا سابقًا ، ستعثر عناكب الزحف أيضًا على روابط على الصفحة الرئيسية وتقوم بالزحف إلى الصفحات التي يعثرون عليها بهذه الروابط.

لذلك ، فإن تحديث الزحف (للصفحة الرئيسية ، للتحقق مما إذا كان هناك أي محتوى جديد) يمكن أن يؤدي أيضًا إلى اكتشاف زحف إذا تم العثور على رابط لصفحة جديدة هناك.

هناك نقطة أخيرة يجب فهمها حول هذا الأمر وهي أن Googlebot قادر على التعرف على الأنماط لتعديل الزحف إلى التحديث وفقًا لذلك.

أوضح جون مولر من Google ذلك بالمثال التالي:

"على سبيل المثال ، إذا كان لديك موقع ويب إخباري وقمت بتحديثه كل ساعة ، فيجب أن نعلم أننا بحاجة إلى الزحف إليه كل ساعة. في حين أنه إذا كان موقعًا إخباريًا يتم تحديثه مرة واحدة شهريًا ، فيجب أن نعلم أننا لسنا بحاجة إلى الزحف كل ساعة.

وهذه ليست علامة على الجودة ، أو علامة على الترتيب ، أو أي شيء من هذا القبيل. إنه حقًا فقط من وجهة نظر تقنية بحتة تعلمنا أنه يمكننا الزحف إلى هذا مرة في اليوم ، مرة في الأسبوع ، ولا بأس بذلك ".

يقوم Google بذلك لحفظ موارد الزحف. كما ذكرنا سابقًا ، يعد الزحف مهمة صعبة ويمكن أن تستغرق الكثير من الموارد الحسابية يومًا بعد يوم. هذا ليس مستدامًا للغاية ، خاصة وأن الإنترنت يستمر في النمو.

هذا يقودنا إلى النقطة التالية.

مستقبل زحف الويب في عام 2022 وما بعده

في الحلقة الأخيرة من بودكاست Search Off the Records ، ألمح فريق علاقات البحث في Google إلى أن Google قد تقلل معدل زحف الويب من أجل حفظ الموارد الحسابية وتعزيز الاستدامة.

"الحوسبة بشكل عام ليست مستدامة حقًا. نحن خاليون من الكربون لأنني لا أعرف حتى عام 2007 أو شيء من هذا القبيل ، لكن هذا لا يعني أنه لا يمكننا تقليل المزيد من بصمتنا على البيئة. وقال جاري إيليس من Google "الزحف هو أحد تلك الأشياء التي يمكننا في وقت مبكر تقطيع بعض الفاكهة المتدلية" .

وأوضح أيضًا كيف يمكن أن تحقق Google هدف الاستدامة هذا عن طريق تقليل معدل الزحف للتحديث.

"هناك شيء واحد نقوم به ، وقد لا نحتاج إلى القيام به كثيرًا ، وهو تحديث عمليات الزحف. مما يعني أنه بمجرد اكتشافنا لمستند ، عنوان URL ، فإننا نذهب ، ونزحف إليه ، وبعد ذلك ، في النهاية ، سنعود مرة أخرى إلى عنوان URL هذا. هذا هو تحديث الزحف.

وبعد ذلك في كل مرة نعود فيها إلى عنوان URL هذا ، سيكون هذا دائمًا تحديث الزحف. الآن ، كم مرة نحتاج إلى الرجوع إلى عنوان URL هذا؟ "

ماذا يعني معدل الزحف المنخفض لأصحاب مواقع الويب وتحسين محركات البحث؟

من المحتمل أن يؤدي معدل الزحف المنخفض لعمليات زحف التحديث إلى إبطاء الفهرسة وتحديثات التصنيف لصفحات الويب المحدثة. ومع ذلك ، لا يعني ذلك بالضرورة تصنيفات محرك البحث الضعيفة.

أكد Gary Illyes خلال البودكاست أنه "من المفاهيم الخاطئة" التفكير في أنه "إذا تم الزحف إلى الصفحة أكثر ، فسيتم ترتيبها بشكل أكبر".

7 نصائح حول كيفية تحسين الزحف على موقع الويب الخاص بك

الآن بعد أن عرفت ما هو زحف الويب وما قد يحمله مستقبل زحف الويب ، فلنلقِ نظرة مختصرة على بعض النصائح التي يمكنك استخدامها لتحسين الزحف على موقع الويب الخاص بك.

1. قم بتحديث المحتوى الخاص بك في كثير من الأحيان. إذا قمت بنشر منشور واحد في الأسبوع - بدون تحديثات أخرى للمحتوى عبر موقع الويب الخاص بك - فسوف يتعرف Google على النمط ويبطئ عملية الزحف إلى التحديث لموقعك على الويب ، كما تعلمنا سابقًا.
2. قم بتحديث Google بمجرد تحديث موقع الويب الخاص بك عن طريق إرسال عنوان URL لإعادة الفهرسة في Google Search Console.
3. أنشئ المزيد من الروابط ذات الصلة بالسياق من مواقع الويب التي يتم الزحف إليها بانتظام بالإضافة إلى صفحات الويب التي يتم الزحف إليها بانتظام على موقعك.
4. اقض الوقت والجهد في تحسين سرعة تحميل موقع الويب الخاص بك. إذا كان تحميل موقع ويب بطيئًا جدًا ، فقد تتخلى برامج زحف مواقع الويب عن موقعك.
5. أضف ملف Sitemap واحتفظ به محدثًا لمساعدة Google في الزحف على الويب. تحقق من خريطة موقع الويب الخاص بك هنا.
6. تقليل عدد الصفحات اليتيمة على موقع الويب الخاص بك. الصفحات المعزولة هي تلك الصفحات التي ليس لها أي ارتباط يشير إليها.
7. تقليل سلاسل إعادة التوجيه

نأمل أن تكون قد وجدت دليل المبتدئين هذا للزحف على الويب مفيدًا. إذا كان لديك أي أسئلة أو تعليقات ، فأخبرنا بذلك في قسم التعليقات أدناه.