วิธีเพิ่มไฟล์ Robots.txt สำหรับ WordPress

แค่สร้างเว็บไซต์ไม่เพียงพอ การได้รับรายชื่อในเครื่องมือค้นหาเป็นเป้าหมายสำคัญของเจ้าของเว็บไซต์ทั้งหมด เพื่อให้เว็บไซต์ปรากฏใน SERP สำหรับคำหลักบางคำ รายชื่อเว็บไซต์และการมองเห็นเนื้อหาที่สดใหม่ส่วนใหญ่เกิดจากหุ่นยนต์ของเครื่องมือค้นหาที่รวบรวมข้อมูลและจัดทำดัชนีเว็บไซต์ ผู้ดูแลเว็บสามารถควบคุมวิธีที่โรบ็อตเหล่านี้แยกวิเคราะห์เว็บไซต์ได้โดยการแทรกคำแนะนำในไฟล์พิเศษที่เรียกว่า robots.txt

ในบทความนี้ ฉันจะบอกวิธีตั้งค่าไฟล์ WordPress robots.txt สำหรับ SEO เว็บไซต์ที่ดีที่สุด โปรดทราบว่าเครื่องมือค้นหาไม่จำเป็นต้องสร้างดัชนีหลายหน้าของเว็บไซต์ WordPress

ไฟล์ Robots.txt คืออะไร?

robots.txt เป็นไฟล์ข้อความที่อยู่ที่รากของเว็บไซต์ของคุณซึ่งบอกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาไม่ให้รวบรวมข้อมูลส่วนต่างๆ ของเว็บไซต์ของคุณ เรียกอีกอย่างว่า Robots Exclusion Protocol ที่ป้องกันไม่ให้เครื่องมือค้นหาจัดทำดัชนีเนื้อหาที่ไม่มีประโยชน์และ/หรือเฉพาะบางอย่าง (เช่น หน้าเข้าสู่ระบบและไฟล์ที่ละเอียดอ่อน)

กล่าวโดยย่อ robots.txt บอกบอทของเครื่องมือค้นหาถึงสิ่งที่พวกเขาไม่ควรรวบรวมข้อมูลบนเว็บไซต์ของคุณ

นี่คือวิธีการทำงาน! เมื่อบอทของเครื่องมือค้นหากำลังจะรวบรวมข้อมูล URL ของเว็บไซต์ของคุณ (กล่าวคือ จะรวบรวมข้อมูลและดึงข้อมูลเพื่อให้สามารถจัดทำดัชนีได้) อันดับแรกจะค้นหาไฟล์ robots.txt ของคุณ

ทำไมต้องสร้าง Robots.txt สำหรับ WordPress?

โดยปกติคุณไม่จำเป็นต้องเพิ่มไฟล์ robots.txt สำหรับเว็บไซต์ WordPress เครื่องมือค้นหาจัดทำดัชนีเว็บไซต์ WordPress ทั้งหมดโดยค่าเริ่มต้น อย่างไรก็ตาม เพื่อ SEO ที่ดีขึ้น คุณสามารถเพิ่มไฟล์ robots.txt ลงในไดเร็กทอรีรากของคุณเพื่อไม่อนุญาตให้เครื่องมือค้นหาเข้าถึงพื้นที่เฉพาะของเว็บไซต์ WordPress ของคุณ

IdeaBox – กรณีศึกษา

อ่านว่า Cloudways ช่วยให้หน่วยงาน WordPress สร้างผลิตภัณฑ์ที่ดีขึ้นได้อย่างไร

ฉันยอมรับข้อกำหนดในการให้บริการและนโยบายความเป็นส่วนตัวของ Cloudways

รับกรณีศึกษาตอนนี้!

ขอบคุณ

Ebook ของคุณกำลังมาถึงกล่องจดหมายของคุณ

จะสร้าง Robots.txt สำหรับ WordPress ได้อย่างไร?

เข้าสู่ระบบ แดชบอร์ดเว็บโฮสติ้ง WordPress ที่มีการจัดการของคุณ ในตัวอย่างของฉัน ฉันใช้ Cloudways – แพลตฟอร์ม Managed Cloud Hosting

ไปที่แท็บ เซิร์ฟเวอร์ จากแถบเมนูด้านบน และรับการเข้าถึง SSH/SFTP จาก การจัดการเซิร์ฟเวอร์ → ข้อมูลรับรอง หลัก

ใช้แอปพลิเคชันเซิร์ฟเวอร์ FTP เพื่อเข้าถึงไฟล์ฐานข้อมูล WordPress ของคุณ ฉันใช้ FileZilla สำหรับบทช่วยสอนนี้ เปิดใช้งานและเชื่อมต่อกับเซิร์ฟเวอร์ของคุณโดยใช้ ข้อมูลรับรอง หลัก

เมื่อเชื่อมต่อแล้ว ให้ไปที่โฟลเดอร์ /applications ของไฟล์ฐานข้อมูล WordPress ของคุณ คุณจะเห็นโฟลเดอร์ต่างๆ ที่นั่น

กลับไปที่ Cloudways Platform และจากแถบด้านซ้ายบน ไปที่ Applications เลือกแอปพลิเคชันที่คุณต้องการเพิ่มไฟล์ robots.txt สำหรับ:

จากบานหน้าต่างด้านซ้าย ไปที่ Application Management → Application Settings → General คุณจะพบชื่อโฟลเดอร์ของแอปพลิเคชันของคุณ

กลับไปที่ FileZilla แล้วไปที่ /applications/[FOLDER NAME]/public_html สร้างไฟล์ข้อความใหม่ที่นี่และตั้งชื่อว่า robots.txt

คลิกขวาที่ ไฟล์ robots.txt แล้วคลิก ดู/แก้ไข เพื่อเปิดในโปรแกรมแก้ไขข้อความ (Notepad เป็นตัวเลือกที่สะดวก)

Advanced Robots.txt สำหรับ WordPress

เครื่องมือค้นหาเช่น Google และ Bing รองรับการใช้สัญลักษณ์แทนในไฟล์ robots.txt สามารถใช้สัญลักษณ์แทนเหล่านี้เพื่ออนุญาต/ไม่อนุญาตประเภทไฟล์เฉพาะทั่วทั้งเว็บไซต์ WordPress

เครื่องหมายดอกจัน (*) สามารถใช้เพื่อจัดการกับตัวเลือก/การเลือกได้หลากหลาย

 ตัวแทนผู้ใช้: *
ไม่อนุญาต : /images/image*.jpg

ในที่นี้ “*” หมายความว่ารูปภาพทั้งหมดที่ขึ้นต้นด้วย “image” และนามสกุล “jpg” จะไม่ถูกสร้างดัชนีโดยเครื่องมือค้นหา ต่อไปนี้คือตัวอย่างบางส่วนของ WordPress robots.txt

ตัวอย่าง: image1.jpg, image2.jpg, imagexyz.jpg จะไม่ถูกสร้างดัชนีโดยเครื่องมือค้นหา

พลังของ * ไม่ได้จำกัดแค่รูปภาพเท่านั้น คุณยังสามารถไม่อนุญาตไฟล์ทั้งหมดที่มีนามสกุลเฉพาะ

 ตัวแทนผู้ใช้: *
ไม่อนุญาต: /downloads/*.pdf
ไม่อนุญาต: /downloads/*.png

ข้อความข้างต้นจะขอให้เครื่องมือค้นหาทั้งหมดไม่อนุญาตไฟล์ทั้งหมดที่มีนามสกุล "pdf" & "png" ที่พบในโฟลเดอร์ดาวน์โหลด

คุณยังสามารถไม่อนุญาตไดเรกทอรีหลักของ WordPress ได้โดยใช้ *.

 ตัวแทนผู้ใช้: *
ไม่อนุญาต: /wp-*/

บรรทัดด้านบนขอให้เครื่องมือค้นหาไม่รวบรวมข้อมูลไดเรกทอรีที่ขึ้นต้นด้วย "wp-"

ตัวอย่าง: wp-includes, wp-content ฯลฯ จะไม่ถูกสร้างดัชนีโดยเครื่องมือค้นหา

สัญลักษณ์ตัวแทนอื่นที่ใช้ในไฟล์ WordPress robots.txt คือสัญลักษณ์ดอลลาร์ ($)

 ตัวแทนผู้ใช้: *
ไม่อนุญาต: referral.php

ข้อความข้างต้นจะขอให้เครื่องมือค้นหาไม่จัดทำดัชนี referral.php และ referral.php?id=123 เป็นต้น

แต่ถ้าคุณต้องการบล็อก referral.php เท่านั้นล่ะ คุณต้องใส่สัญลักษณ์ $ หลัง referral.php เท่านั้น

สัญลักษณ์ $ ช่วยให้มั่นใจได้ว่ามีเพียง referral.php เท่านั้นที่ถูกบล็อก แต่ไม่ referral.php?id=123

 ตัวแทนผู้ใช้: *
ไม่อนุญาต: referral.php$

คุณสามารถใช้ $ สำหรับไดเร็กทอรีได้เช่นกัน

 ตัวแทนผู้ใช้: *
ไม่อนุญาต: /wp-content/

สิ่งนี้จะสั่งให้เสิร์ชเอ็นจิ้นไม่อนุญาตโฟลเดอร์ wp-content รวมทั้งไดเร็กทอรีทั้งหมดที่อยู่ใน wp-content หากคุณต้องการไม่อนุญาตเฉพาะเนื้อหา wp แทนที่จะเป็นโฟลเดอร์ย่อยทั้งหมด คุณควรใช้สัญลักษณ์ $ ตัวอย่างเช่น:

 ตัวแทนผู้ใช้: *
ไม่อนุญาต: /wp-content/$

สัญลักษณ์ $ รับรองว่าไม่อนุญาตเฉพาะเนื้อหา wp ไดเรกทอรีทั้งหมดในโฟลเดอร์นี้ยังคงสามารถเข้าถึงได้

ด้านล่างนี้คือไฟล์ robots.txt สำหรับบล็อก Cloudways

 ตัวแทนผู้ใช้: *
ไม่อนุญาต: /admin/
ไม่อนุญาต: /admin/*?*
ไม่อนุญาต: /admin/*?
ไม่อนุญาต: /blog/*?*
ไม่อนุญาต: /blog/*?

บรรทัดแรกระบุ User-agent หมายถึงเครื่องมือค้นหาที่ได้รับอนุญาตให้เข้าถึงและจัดทำดัชนีเว็บไซต์ รายชื่อบอทของเครื่องมือค้นหาทั้งหมดมีอยู่ ที่นี่

 ตัวแทนผู้ใช้: *

โดยที่ * หมายถึงเครื่องมือค้นหาทั้งหมด คุณสามารถระบุเครื่องมือค้นหาแต่ละรายการแยกกันได้

 ไม่อนุญาต: /admin/
ไม่อนุญาต: /admin/*?*
ไม่อนุญาต: /admin/*?

ซึ่งจะไม่อนุญาตให้เครื่องมือค้นหารวบรวมข้อมูลไดเรกทอรี "admin" มักไม่จำเป็นสำหรับเครื่องมือค้นหาเพื่อสร้างดัชนีไดเรกทอรีเหล่านี้

 ไม่อนุญาต: /blog/*?*
ไม่อนุญาต: /blog/*?

หากไซต์ WordPress ของคุณเป็นไซต์บล็อก แนวทางปฏิบัติที่ดีที่สุดคือการจำกัดบอทของเครื่องมือค้นหาไม่ให้รวบรวมข้อมูลคำค้นหาของคุณ

หากเว็บไซต์ของคุณมีแผนผังเว็บไซต์ การเพิ่ม URL ช่วยบอทของเครื่องมือค้นหาในการค้นหาไฟล์แผนผังเว็บไซต์ ส่งผลให้การจัดทำดัชนีหน้าเร็วขึ้น

 แผนผังเว็บไซต์: http://www.yoursite.com/sitemap.xml

สิ่งที่จะรวมไว้ใน Robots.txt สำหรับ WordPress?

คุณเป็นผู้ตัดสินใจว่าส่วนใดของไซต์ WordPress ที่คุณต้องการรวมไว้ใน SERP ทุกคนมีมุมมองของตนเองในการตั้งค่าไฟล์ WordPress robots.txt บางคนแนะนำว่าอย่าเพิ่มไฟล์ robots.txt ใน WordPress ในขณะที่ในความคิดของฉันควรเพิ่มและไม่อนุญาต /wp-admin/ โฟลเดอร์ ไฟล์ Robots.txt เป็นแบบสาธารณะ คุณค้นหาไฟล์ robots.txt ของเว็บไซต์ใดก็ได้โดยไปที่ www.example.com/robots.txt

เสร็จแล้วกับไฟล์ robots.txt ใน WordPress หากคุณมีข้อสงสัยเกี่ยวกับการตั้งค่าไฟล์ robots.txt อย่าลังเลที่จะถามในส่วนความคิดเห็นด้านล่าง

ห่อ!

อย่างที่คุณเห็น ไฟล์ robots.txt เป็นเครื่องมือที่น่าสนใจสำหรับ SEO ของคุณ ทำให้สามารถชี้ให้โรบ็อตของเครื่องมือค้นหาทราบว่าควรจัดทำดัชนีอะไร และสิ่งใดไม่ควรจัดทำดัชนี แต่ต้องจัดการด้วยความระมัดระวัง การกำหนดค่าที่ไม่ถูกต้องอาจนำไปสู่การเลิกทำดัชนีเว็บไซต์ของคุณทั้งหมด (ตัวอย่าง: หากคุณใช้ Disallow: /) ดังนั้นจงระวัง!

ตอนนี้ถึงตาคุณแล้ว บอกฉันว่าคุณใช้ไฟล์ประเภทนี้หรือไม่และกำหนดค่าอย่างไร แบ่งปันความคิดเห็นและข้อเสนอแนะของคุณในความคิดเห็น