ทุกสิ่งที่คุณต้องรู้เกี่ยวกับส่วนหัว HTTP ของ X-Robots-Tag

การเพิ่มประสิทธิภาพกลไกค้นหาในความหมายพื้นฐานที่สุด อาศัยสิ่งหนึ่งเหนือสิ่งอื่นใด: สไปเดอร์ของเครื่องมือค้นหาที่รวบรวมข้อมูลและจัดทำดัชนีไซต์ของคุณ

แต่เกือบทุกเว็บไซต์จะมีหน้าที่คุณไม่ต้องการรวมไว้ในการสำรวจนี้

ตัวอย่างเช่น คุณต้องการให้นโยบายความเป็นส่วนตัวหรือหน้าการค้นหาภายในของคุณแสดงในผลลัพธ์ของ Google หรือไม่

ในกรณีที่ดีที่สุด สิ่งเหล่านี้ไม่ได้ทำอะไรเลยเพื่อดึงดูดการเข้าชมมายังไซต์ของคุณ และในกรณีที่เลวร้ายที่สุด สิ่งเหล่านี้อาจเป็นการเบี่ยงเบนการเข้าชมจากหน้าที่สำคัญกว่า

โชคดีที่ Google อนุญาตให้ผู้ดูแลเว็บบอกบอทของเครื่องมือค้นหาว่าควรรวบรวมข้อมูลหน้าใดและเนื้อหาใดและสิ่งใดที่ควรละเว้น มีหลายวิธีในการทำเช่นนี้ วิธีที่ใช้กันมากที่สุดคือการใช้ไฟล์ robots.txt หรือเมตาแท็ก robots

เรามีคำอธิบายที่ยอดเยี่ยมและละเอียดเกี่ยวกับข้อมูลเชิงลึกของ robots.txt ซึ่งคุณควรอ่านอย่างแน่นอน

แต่ในแง่ระดับสูง ไฟล์นี้เป็นไฟล์ข้อความธรรมดาที่อยู่ในรูทของเว็บไซต์ของคุณและเป็นไปตาม Robots Exclusion Protocol (REP)

Robots.txt ให้คำแนะนำแก่โปรแกรมรวบรวมข้อมูลเกี่ยวกับไซต์โดยรวม ในขณะที่เมตาแท็กของโรบ็อตจะรวมคำแนะนำสำหรับหน้าเฉพาะ

เมตาโรบ็อตแท็กบางแท็กที่คุณอาจใช้ประกอบด้วย ดัชนี ซึ่งบอกให้เครื่องมือค้นหาเพิ่มหน้าลงในดัชนี noindex ซึ่งบอกไม่ให้เพิ่มหน้าในดัชนีหรือรวมไว้ในผลการค้นหา follow ซึ่งสั่งให้เครื่องมือค้นหาติดตามลิงก์บนหน้าเว็บ nofollow ซึ่งบอกไม่ให้ติดตามลิงก์และโฮสต์อื่น ๆ ทั้งหมด

ทั้งแท็ก robots.txt และ meta robots เป็นเครื่องมือที่มีประโยชน์ในการเก็บไว้ในกล่องเครื่องมือของคุณ แต่ยังมีอีกวิธีหนึ่งในการสั่งให้บอทของเครื่องมือค้นหา noindex หรือ nofollow: X-Robots-Tag

X-Robots-Tag คืออะไร?

X-Robots-Tag เป็นอีกวิธีหนึ่งสำหรับคุณในการควบคุมวิธีการรวบรวมข้อมูลและจัดทำดัชนีหน้าเว็บของคุณโดยสไปเดอร์ ส่วนหนึ่งของการตอบสนองส่วนหัว HTTP ไปยัง URL จะควบคุมการจัดทำดัชนีสำหรับทั้งหน้า เช่นเดียวกับองค์ประกอบเฉพาะในหน้านั้น

และในขณะที่การใช้เมตาโรบ็อตแท็กนั้นค่อนข้างตรงไปตรงมา แต่ X-Robots-Tag นั้นซับซ้อนกว่าเล็กน้อย

แต่แน่นอนว่าสิ่งนี้ทำให้เกิดคำถาม:

เมื่อใดที่คุณควรใช้ X-Robots-Tag

Google กล่าวว่า "คำสั่งใด ๆ ที่สามารถใช้ในเมตาแท็กของโรบ็อตสามารถระบุเป็น X-Robots-Tag ได้"

แม้ว่าคุณสามารถตั้งค่าคำสั่งที่เกี่ยวข้องกับ robots.txt ในส่วนหัวของการตอบสนอง HTTP ที่มีทั้งเมตาแท็ก robots และแท็ก X-Robots แต่ก็มีบางสถานการณ์ที่คุณต้องการใช้ X-Robots-Tag ซึ่งเป็นสองแท็กที่พบบ่อยที่สุด เป็นเมื่อ:

• คุณต้องการควบคุมวิธีการรวบรวมข้อมูลและจัดทำดัชนีไฟล์ที่ไม่ใช่ HTML ของคุณ
• คุณต้องการแสดงคำสั่งทั่วทั้งไซต์แทนที่จะแสดงในระดับเพจ

ตัวอย่างเช่น หากคุณต้องการบล็อกรูปภาพหรือวิดีโอหนึ่งๆ ไม่ให้รวบรวมข้อมูล วิธีตอบกลับ HTTP จะช่วยให้การดำเนินการนี้ง่ายขึ้น

ส่วนหัว X-Robots-Tag ยังมีประโยชน์เพราะช่วยให้คุณสามารถรวมหลายแท็กภายในการตอบสนอง HTTP หรือใช้รายการคำสั่งที่คั่นด้วยเครื่องหมายจุลภาคเพื่อระบุคำสั่ง

บางทีคุณอาจไม่ต้องการให้หน้าบางหน้าถูกแคชและต้องการให้หน้านั้นไม่สามารถใช้งานได้หลังจากวันที่กำหนด คุณสามารถใช้แท็ก “noarchive” และ “unavailable_after” ร่วมกันเพื่อสั่งให้บอทของเครื่องมือค้นหาทำตามคำแนะนำเหล่านี้

โดยพื้นฐานแล้ว พลังของ X-Robots-Tag คือมีความยืดหยุ่นมากกว่าเมตาโรบ็อตแท็กมาก

ข้อดีของการใช้ X-Robots-Tag กับการตอบสนอง HTTP คือช่วยให้คุณใช้นิพจน์ทั่วไปเพื่อเรียกใช้คำสั่งการรวบรวมข้อมูลบนที่ไม่ใช่ HTML รวมถึงใช้พารามิเตอร์ในระดับโลกที่ใหญ่ขึ้น

เพื่อช่วยให้คุณเข้าใจความแตกต่างระหว่างคำสั่งเหล่านี้ การจัดหมวดหมู่ตามประเภทจะเป็นประโยชน์ นั่นคือคำสั่งของโปรแกรมรวบรวมข้อมูลหรือคำสั่งตัวสร้างดัชนี

นี่คือสูตรโกงที่มีประโยชน์ในการอธิบาย:

คุณใส่ X-Robots-Tag ไว้ที่ไหน?

สมมติว่าคุณต้องการบล็อกไฟล์บางประเภท แนวทางที่ดีที่สุดคือการเพิ่ม X-Robots-Tag ในการกำหนดค่า Apache หรือไฟล์ .htaccess

สามารถเพิ่ม X-Robots-Tag ในการตอบสนอง HTTP ของไซต์ในการกำหนดค่าเซิร์ฟเวอร์ Apache ผ่านไฟล์ .htaccess

ตัวอย่างในโลกแห่งความเป็นจริงและการใช้ X-Robots-Tag

ฟังดูดีในทางทฤษฎี แต่ในความเป็นจริงแล้วหน้าตาเป็นอย่างไร? ลองมาดูกัน

สมมติว่าเราต้องการให้เครื่องมือค้นหาไม่สร้างดัชนีประเภทไฟล์ .pdf การกำหนดค่านี้บนเซิร์ฟเวอร์ Apache จะมีลักษณะดังต่อไปนี้:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

ใน Nginx จะมีลักษณะดังนี้:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

ทีนี้ มาดูสถานการณ์อื่นกัน สมมติว่าเราต้องการใช้ X-Robots-Tag เพื่อบล็อกไฟล์รูปภาพ เช่น .jpg, .gif, .png และอื่นๆ ไม่ให้จัดทำดัชนี คุณสามารถทำได้ด้วย X-Robots-Tag ซึ่งจะมีลักษณะดังนี้:

 <ไฟล์ ~ "\.(png|jpe?g|gif)$">
ส่วนหัวตั้งค่า X-Robots-Tag "noindex"
</ไฟล์>

โปรดทราบว่าการทำความเข้าใจวิธีการทำงานของคำสั่งเหล่านี้และผลกระทบที่มีต่อกันและกันเป็นสิ่งสำคัญ

ตัวอย่างเช่น จะเกิดอะไรขึ้นหากพบทั้ง X-Robots-Tag และแท็ก meta robots เมื่อบอทโปรแกรมรวบรวมข้อมูลค้นพบ URL

หาก URL นั้นถูกบล็อกจาก robots.txt คำสั่งการจัดทำดัชนีและการแสดงบางอย่างจะไม่สามารถค้นพบได้และจะไม่ปฏิบัติตาม

หากต้องปฏิบัติตามคำสั่ง URL ที่มีรายการเหล่านั้นจะไม่ได้รับอนุญาตให้รวบรวมข้อมูล

ตรวจสอบ X-Robots-Tag

มีวิธีการต่างๆ สองสามวิธีที่สามารถใช้ตรวจสอบ X-Robots-Tag บนไซต์ได้

วิธีที่ง่ายที่สุดในการตรวจสอบคือการติดตั้งส่วนขยายของเบราว์เซอร์ที่จะบอกข้อมูล X-Robots-Tag เกี่ยวกับ URL

ภาพหน้าจอของ Robots Exclusion Checker ธันวาคม 2022

ปลั๊กอินอื่นที่คุณสามารถใช้เพื่อระบุว่ามีการใช้ X-Robots-Tag หรือไม่ เช่น ปลั๊กอิน Web Developer

เมื่อคลิกที่ปลั๊กอินในเบราว์เซอร์ของคุณและไปที่ “ดูส่วนหัวตอบกลับ” คุณจะเห็นส่วนหัว HTTP ต่างๆ ที่ใช้อยู่

อีกวิธีหนึ่งที่สามารถใช้ในการปรับขนาดเพื่อระบุปัญหาบนเว็บไซต์ที่มีหนึ่งล้านหน้าคือ Screaming Frog

หลังจากเรียกใช้ไซต์ผ่าน Screaming Frog คุณสามารถไปที่คอลัมน์ "X-Robots-Tag"

นี่จะแสดงให้คุณเห็นว่าส่วนใดของไซต์กำลังใช้แท็ก พร้อมด้วยคำสั่งเฉพาะใด

ภาพหน้าจอของ Screaming Frog Report X-Robot-Tag ธันวาคม 2565

การใช้ X-Robots-Tag บนไซต์ของคุณ

การทำความเข้าใจและควบคุมวิธีที่เครื่องมือค้นหาโต้ตอบกับเว็บไซต์ของคุณเป็นรากฐานที่สำคัญของการเพิ่มประสิทธิภาพเครื่องมือค้นหา และ X-Robots-Tag เป็นเครื่องมืออันทรงพลังที่คุณใช้ทำสิ่งนั้นได้

เพียงระวัง: มันไม่ได้ปราศจากอันตราย เป็นเรื่องง่ายมากที่จะทำผิดพลาดและทำดัชนีทั้งไซต์ของคุณ

ที่กล่าวว่า หากคุณกำลังอ่านบทความนี้ คุณอาจไม่ใช่ผู้เริ่มต้นทำ SEO ตราบใดที่คุณใช้มันอย่างชาญฉลาด ใช้เวลาและตรวจสอบงานของคุณ คุณจะพบว่า X-Robots-Tag เป็นส่วนเสริมที่มีประโยชน์สำหรับคลังแสงของคุณ

แหล่งข้อมูลเพิ่มเติม:

• Google ให้ไซต์ควบคุมการจัดทำดัชนีได้มากขึ้นด้วยแท็กโรบ็อตใหม่
• 6 ปัญหาที่พบบ่อยเกี่ยวกับ Robots.txt และวิธีแก้ไข
• SEO ทางเทคนิคขั้นสูง: คู่มือฉบับสมบูรณ์

ภาพเด่น: Song_about_summer/Shutterstock