如何為 WordPress 添加 Robots.txt 文件

僅僅創建一個網站是不夠的。 在搜索引擎中列出是所有網站所有者的基本目標，以便網站在某些關鍵字的 SERP 中可見。 網站列表和最新內容的可見性主要是由於搜索引擎機器人對網站進行爬網和索引。 網站管理員可以通過在名為 robots.txt 的特殊文件中插入指令來控制這些機器人解析網站的方式。

在本文中，我將介紹如何為最佳網站 SEO 設置 WordPress robots.txt 文件。 請注意，搜索引擎不需要將 WordPress 網站的多個頁面編入索引。

什麼是 Robots.txt 文件？

robots.txt 是位於您網站根目錄的文本文件，它告訴搜索引擎爬蟲不要爬取您網站的某些部分。 它也被稱為機器人排除協議，可防止搜索引擎索引某些無用和/或特定內容（例如您的登錄頁面和敏感文件）。

簡而言之，robots.txt 告訴搜索引擎機器人他們不應該在您的網站上抓取什麼。

下面是它的工作原理！ 當搜索引擎機器人即將抓取您網站的 URL 時（即，它將抓取和檢索信息以便將其編入索引），它將首先查找您的文件 robots.txt。

為什麼要為 WordPress 創建 Robots.txt？

您通常不需要為 WordPress 網站添加 robots.txt 文件。 默認情況下，搜索引擎會索引整個 WordPress 網站。 但是，為了獲得更好的 SEO，您可以將 robots.txt 文件添加到您的根目錄，以明確禁止搜索引擎訪問您的 WordPress 網站的特定區域。

IdeaBox – 案例研究

閱讀 Cloudways 如何幫助 WordPress 機構構建更好的產品。

我同意 Cloudways 服務條款和隱私政策

立即獲取案例研究！

謝謝你

您的電子書正在進入您的收件箱。

如何為 WordPress 創建 Robots.txt？

登錄到您的託管 WordPress 網絡託管儀表板。 在我的示例中，我使用的是 Cloudways – 託管雲託管平台。

轉到頂部菜單欄中的Servers選項卡，然後從Server Management → Master Credentials獲取您的 SSH/SFTP 訪問權限。

使用任何 FTP 服務器應用程序訪問您的 WordPress 數據庫文件。 我在本教程中使用FileZilla 。 啟動它並使用Master Credentials連接到您的服務器。

連接後，轉到 WordPress 數據庫文件的/applications文件夾。 您將在那裡看到不同的文件夾。

現在返回 Cloudways 平台，從左上角的欄中，轉到Applications 。 選擇要為其添加 robots.txt 文件的應用程序：

從左窗格中，轉到應用程序管理 → 應用程序設置 → 常規。 您將找到應用程序的文件夾名稱。

返回 FileZilla，然後導航到/applications/[FOLDER NAME]/public_html 。 在此處創建一個新文本文件並將其命名為robots.txt 。

右鍵單擊robots.txt 文件，然後單擊查看/編輯以在文本編輯器中打開它（記事本是一個方便的選項）。

WordPress 的高級 Robots.txt

Google 和 Bing 等搜索引擎支持在 robots.txt 文件中使用通配符。 這些通配符可用於在整個 WordPress 網站中允許/禁止特定文件類型。

星號 (*) 可用於處理各種選項/選擇。

 用戶代理： *
禁止：/images/image*.jpg

這裡，“*”表示所有以“image”開頭且擴展名為“jpg”的圖片不會被搜索引擎收錄。 以下是一些 WordPress robots.txt 示例。

例如： image1.jpg、image2.jpg、imagexyz.jpg 不會被搜索引擎收錄。

* 的力量不僅限於圖像。 您甚至可以禁止所有具有特定擴展名的文件。

 用戶代理： *
禁止：/downloads/*.pdf
禁止：/downloads/*.png

上述聲明將要求所有搜索引擎禁止在下載文件夾中找到所有擴展名為“pdf”和“png”的文件。

您甚至可以使用 *.

 用戶代理： *
禁止：/wp-*/

上面一行要求搜索引擎不要抓取以“wp-”開頭的目錄。

示例： wp-includes、wp-content 等不會被搜索引擎索引。

WordPress robots.txt 文件中使用的另一個通配符是美元符號 ($)。

 用戶代理： *
禁止：referral.php

上面的語句會要求搜索引擎不要索引referral.php和reference.php?id=123等等。

但是如果您只想阻止referral.php 怎麼辦？ 您只需在referral.php 之後包含$ 符號。

符號 $ 確保只有referral.php 被阻止，而不是referral.php?id=123。

 用戶代理： *
禁止：referral.php$

您也可以將 $ 用於目錄。

 用戶代理： *
禁止：/wp-content/

這將指示搜索引擎禁止 wp-content 文件夾以及位於 wp-content 內的所有目錄。 如果您只想禁止 wp-content 而不是所有子文件夾，您應該使用 $ 符號。 例如：

 用戶代理： *
禁止：/wp-content/$

$ 符號確保只禁止 wp-content。 此文件夾中的所有目錄仍可訪問。

以下是 Cloudways 博客的 robots.txt 文件。

 用戶代理： *
禁止：/管理員/
禁止：/admin/*?*
禁止：/admin/*?
禁止：/blog/*?*
禁止：/blog/*?

第一行表示用戶代理。 這是指允許訪問和索引網站的搜索引擎。 此處提供了所有搜索引擎機器人的完整列表。

 用戶代理： *

其中 * 表示所有搜索引擎。 您可以單獨指定每個搜索引擎。

 禁止：/管理員/
禁止：/admin/*?*
禁止：/admin/*?

這將不允許搜索引擎抓取“admin”目錄。 搜索引擎通常不需要索引這些目錄。

 禁止：/blog/*?*
禁止：/blog/*?

如果您的 WordPress 網站是博客網站，最好的做法是限制搜索引擎機器人不抓取您的搜索查詢。

如果您的網站有站點地圖。 添加其 URL 有助於搜索引擎機器人查找站點地圖文件。 這導致更快的頁面索引。

 站點地圖：http://www.yoursite.com/sitemap.xml

WordPress 的 Robots.txt 中應包含哪些內容？

您決定希望包含在 SERP 中的 WordPress 網站的哪些部分。 每個人對設置WordPress robots.txt文件都有自己的看法。 有些人建議不要在 WordPress 中添加 robots.txt 文件。 雖然在我看來應該添加和禁止 /wp-admin/ 文件夾。 Robots.txt 文件是公開的。 您可以通過訪問 www.example.com/robots.txt 找到任何網站的 robots.txt 文件。

我們完成了 WordPress 中的 robots.txt 文件。 如果您對設置 robots.txt 文件有任何疑問，請隨時在下面的評論部分提問。

包起來！

如您所見，robots.txt 文件是一個有趣的 SEO 工具。 它可以向搜索引擎機器人指出要索引的內容和不索引的內容。 但必須小心處理。 錯誤的配置可能會導致您的網站完全取消索引（例如：如果您使用 Disallow: /）。 所以，要小心！

現在輪到你了。 告訴我您是否使用這種類型的文件以及如何配置它。 在評論中與我分享您的評論和反饋。