Google Search Console 中的 5 個熱門抓取統計數據洞察
已發表: 2021-04-16Google Search Console 中有一份報告非常有用，而且很難找到，尤其是在您剛剛開始 SEO 之旅時。
它是每個 SEO 專業人士最強大的工具之一，即使您甚至無法從 Google Search Console 的主界面中訪問它。
我說的是抓取統計報告。
在本文中，您將了解為什麼此報告如此重要、如何訪問它以及如何使用它來獲得 SEO 優勢。
您的網站是如何被抓取的？
抓取預算（Googlebot 可以抓取和想要抓取的頁面數量）對於 SEO 至關重要，尤其是對於大型網站。
如果您對網站的抓取預算有疑問，Google 可能不會將您的一些有價值的網頁編入索引。
俗話說，如果谷歌沒有索引某些東西，那麼它就不存在。
Google Search Console 可以向您顯示 Googlebot 每天訪問您網站上的網頁數量。
有了這些知識，您就可以找到可能導致您的 SEO 問題的異常情況。
深入了解您的抓取統計數據：5 個關鍵見解
要訪問您的 Crawl stats 報告，請登錄您的 Google Search Console 帳戶並導航至Settings > Crawl stats 。
以下是您可以在抓取統計報告中檢查的所有數據維度：
1.主機
想像一下，您在 shop.website.com 上有一個電子商務商店，在 blog.website.com 上有一個博客。
使用抓取統計報告，您可以輕鬆查看與您網站的每個子域相關的抓取統計信息。
不幸的是，此方法目前不適用於子文件夾。
2. HTTP 狀態
抓取統計報告的另一個用例是查看已抓取 URL 的狀態代碼。
這是因為您不希望 Googlebot 花費資源來抓取 HTTP 200 OK 的網頁。 這是浪費您的抓取預算。
要查看每個狀態代碼的已抓取 URL 的細分，請轉到設置 > 抓取統計信息 > 抓取請求細分。
在這種特殊情況下，所有請求中有 16% 是針對重定向頁面發出的。
如果您看到這樣的統計數據，我建議您進一步調查並尋找重定向躍點和其他潛在問題。
在我看來，您可以在這裡看到的最糟糕的情況之一是大量的 5xx 錯誤。
引用 Google 的文檔：“如果網站速度變慢或響應服務器錯誤，限制就會下降，Googlebot 抓取的次數也會減少。”
如果您對此主題感興趣，Roger Montti 寫了一篇關於 Google Search Console 中的 5xx 錯誤的詳細文章。
3. 目的
抓取統計報告將抓取目的分為兩類：
- 為刷新目的而抓取的 URL（對已知頁面的重新抓取，例如，Googlebot 正在訪問您的主頁以發現新的鏈接和內容）。
- 為發現目的而爬網的 URL（首次爬網的 URL）。
這個細分非常有用，這裡有一個例子：
我最近遇到了一個網站，其中有大約 100 萬頁被歸類為“已發現 - 目前未編入索引”。
該網站上 90% 的頁面都報告了此問題。
（如果您不熟悉它，“Discovered but not index”表示 Google 發現了給定頁面但沒有訪問它。例如，如果您在鎮上發現了一家新餐館但沒有嘗試.)
一種選擇是等待，希望谷歌逐步索引這些頁面。
另一種選擇是查看數據並診斷問題。
所以我登錄到 Google Search Console 並導航到Settings > Crawl Stats > Crawl Requests: HTML 。
結果表明，谷歌平均每天只訪問該網站的 7460 個頁面。
但這裡有更重要的事情。
多虧了抓取統計報告，我發現這 7460 個 URL 中只有 35% 是出於發現原因而被抓取的。
這只是谷歌每天發現的 2611 個新頁面。
2611 超過一百萬。
谷歌以這種速度完全索引整個網站需要 382 天。
發現這一點改變了遊戲規則。 由於我們完全專注於抓取預算優化，所有其他搜索優化都被推遲了。
4.文件類型
GSC 抓取統計數據對 JavaScript 網站很有幫助。 您可以輕鬆檢查 Googlebot 抓取正確呈現所需的 JS 文件的頻率。
如果您的網站充滿了圖片，並且圖片搜索對您的 SEO 策略至關重要，那麼此報告也會有很大幫助 - 您可以了解 Googlebot 抓取圖片的能力。
5. 谷歌機器人類型
最後，抓取統計報告為您提供了用於抓取您網站的 Googlebot 類型的詳細分類。
您可以了解移動或桌面 Googlebot 以及圖像、視頻和廣告機器人發出的請求的百分比。
其他有用信息
值得注意的是，抓取統計報告包含您在服務器日誌中找不到的寶貴信息：
- DNS 錯誤。
- 頁面超時。
- 主機問題，例如獲取 robots.txt 文件的問題。
在 URL 檢查工具中使用 Crawl Stats
您還可以在 URL 檢查工具中訪問抓取統計報告之外的一些精細抓取數據。
我最近與一個大型電子商務網站合作，經過一些初步分析，發現了兩個緊迫的問題：
- 許多產品頁面未在 Google 中編入索引。
- 產品之間沒有內部聯繫。 谷歌發現新內容的唯一方法是通過站點地圖和分頁類別頁面。
下一步自然是訪問服務器日誌並檢查 Google 是否抓取了分頁類別頁面。
但是訪問服務器日誌通常非常困難，尤其是當您與大型組織合作時。
谷歌搜索控制台的抓取統計報告來救援。
讓我指導您完成我使用的過程，如果您遇到類似問題，您可以使用：
1. 首先，在 URL 檢查工具中查找一個 URL。 我從網站的主要類別之一中選擇了一個分頁頁面。
2. 然後，導航到Coverage > Crawl 報告。
在這種情況下，該 URL 最後一次被抓取是在三個月前。
請記住，這是該網站的主要類別頁面之一，超過三個月沒有被抓取！
我更深入地檢查了其他類別頁面的樣本。
事實證明，Googlebot 從未訪問過許多主要類別頁面。 其中許多對於谷歌來說仍然是未知的。
當您致力於提高任何網站的知名度時，我認為我不需要解釋擁有這些信息的重要性。
抓取統計報告允許您在幾分鐘內查看類似的內容。
包起來
正如您所看到的，抓取統計報告是一個強大的 SEO 工具，即使您可以使用 Google Search Console 多年卻找不到它。
它將幫助您診斷索引問題並優化您的抓取預算，以便 Google 可以快速找到並索引您的有價值的內容，這對於大型網站尤其重要。
我給了你幾個用例供你考慮，但現在球在你的球場上了。
您將如何使用這些數據來提高您網站的知名度？
更多資源：
- 爬行優先搜索引擎優化：爬行前遵循的 12 步指南
- 優化 SEO 抓取預算的 7 個技巧
- 搜索引擎如何工作
圖片來源
作者截取的所有屏幕截圖，2021 年 4 月