我們如何一勞永逸地解決自動生成的 URL 錯誤？

今天的“Ask An SEO”問題來自孟買的 Bhaumik，他問道：

“我有一個關於自動生成的 URL 的問題。 我的公司以前使用不同的工具來生成站點地圖。 但最近，我們開始通過選擇必要的 URL 並在 robots.txt 中阻止其他 URL 來手動創建它們。

我們現在面臨一個問題，即自動生成的 URL 超過 50 個。

例如，我們有一個頁面叫做“keyword關鍵字” URL：https://url.com/keyword-keyword/，我們還有另一個頁面知識中心 URL：https://www.url.com/folder/keyword-keyword .

在覆蓋問題中，我們看到 5xx 系列下的錯誤創建了全新的 URL，例如 https://test.url.com/keyword-keyword/keyword-keyword。 我們嘗試了很多方法，但我們沒有找到解決這個問題的方法。”

嗨，鮑米克，

這是一個有趣的情況，你發現自己。

好消息是 5XX 錯誤往往會自行解決，因此不必擔心。

您面臨的自相殘殺問題也比大多數人想像的更為普遍。

例如，對於電子商務商店，您可以讓相同的產品（或相同的產品集合）出現在多個文件夾中。

那麼，哪一個是官方的呢？

您在 B2B 金融領域的情況也是如此（我刪除了您上面的 URL 並將其替換為“關鍵字關鍵字”。）

這就是搜索引擎創建規範鏈接的原因。

規範鏈接是一種告訴搜索引擎頁面何時與另一個頁面重複以及哪個頁面是官方頁面的方法。

假設你賣粉色兔子拖鞋。

這些兔子拖鞋有自己的頁面，它們正在打折，它們出現在鞋類和粉紅色中。

• url.com/products/pink-bunny-slippers。
• url.com/on-sale/pink-bunny-slippers。
• url.com/products/pink/pink-bunny-slippers。
• url.com/category/footwear/pink-bunny-slippers。

上面的第一個 URL 是 URL 的“官方版本”。

這意味著它應該有一個指向自身的規範鏈接。

其他三頁是它的重複版本。 因此，當您設置規範鏈接時，它應該參考官方頁面。

簡而言之，您需要確保所有四個頁面都有 rel=”canonical” href=”https://url.com/products/pink-bunny-slippers”，因為這將為搜索引擎刪除重複數據。

接下來，您需要確保從站點地圖中刪除所有重複版本。

站點地圖應該包含您網站上最重要和可索引的頁面。

您不想在站點地圖中包含頁面的非官方版本、robots.txt 不允許的頁面以及非規範化的 URL。

搜索引擎不會每次都抓取您的整個網站——如果您將它們發送到不重要的頁面，您就是在浪費您正確抓取和索引的能力。

這裡還可能出現另一種情況。

如果您啟用了站點搜索，它還可以創建重複的 URL。

如果我在您網站的搜索框中輸入“pink bunny slippers”，我很可能會得到一個在 URL 中具有相同關鍵字詞組的 URL，並且還帶有參數。

這將進一步解決您的問題，您的 IT 團隊將需要以編程方式設置搜索結果的規範鏈接以及用於 noindex 的元機器人，請遵循。

要尋找的另一件事是：如果我從搜索結果中單擊粉紅色兔子拖鞋頁面，這些參數可能會保留。

如果他們這樣做，請採取上述相同的步驟。

使用正確的規範鏈接並確保您的站點地圖沒有非官方頁面將有助於解決重複頁面問題，並有助於確保您不會因為蜘蛛抓取您網站上的錯誤頁面而浪費其訪問。

我希望這有幫助！

更多資源：

• 您可以安全忽略的 7 個 SEO 抓取工具警告和錯誤
• 我應該為每個 URL 創建一個登陸頁面並鏈接到我的主站點嗎？
• 終極 SEO 審核清單

特色圖片：Leremy/Shutterstock