Google Search Console의 5가지 상위 크롤링 통계 통계

Google Search Console에는 특히 SEO 여정을 막 시작하는 경우 매우 유용하면서도 찾기 어려운 보고서가 하나 있습니다.

Google Search Console의 기본 인터페이스 내에서 액세스할 수 없는 경우에도 모든 SEO 전문가를 위한 가장 강력한 도구 중 하나입니다.

크롤링 통계 보고서에 대해 이야기하고 있습니다.

이 기사에서는 이 보고서가 왜 그렇게 중요한지, 보고서에 액세스하는 방법 및 SEO 이점을 위해 사용하는 방법을 배우게 됩니다.

귀하의 웹사이트는 어떻게 크롤링됩니까?

크롤링 예산(Googlebot이 크롤링할 수 있고 크롤링하려는 페이지 수)은 SEO, 특히 대규모 웹사이트에서 필수적입니다.

웹사이트의 크롤링 예산에 문제가 있는 경우 Google에서 일부 중요한 페이지의 색인을 생성하지 못할 수 있습니다.

그리고 속담에 따르면 Google이 색인을 생성하지 않으면 존재하지 않습니다.

Google Search Console은 Googlebot이 매일 사이트에서 얼마나 많은 페이지를 방문하는지 보여줍니다.

이 지식으로 무장하면 SEO 문제를 일으킬 수 있는 이상 현상을 찾을 수 있습니다.

크롤링 통계 분석: 5가지 주요 인사이트

크롤링 통계 보고서에 액세스하려면 Google Search Console 계정에 로그인하고 설정 > 크롤링 통계 로 이동합니다.

크롤링 통계 보고서 내에서 검사할 수 있는 모든 데이터 측정기준은 다음과 같습니다.

1. 호스트

shop.website.com에 전자 상거래 상점이 있고 blog.website.com에 블로그가 있다고 상상해 보십시오.

크롤링 통계 보고서를 사용하면 웹사이트의 각 하위 도메인과 관련된 크롤링 통계를 쉽게 볼 수 있습니다.

불행히도 이 방법은 현재 하위 폴더에서 작동하지 않습니다.

2. HTTP 상태

크롤링 통계 보고서의 또 다른 사용 사례는 크롤링된 URL의 상태 코드를 확인하는 것입니다.

이는 Googlebot이 HTTP 200 OK가 아닌 페이지를 크롤링하는 데 리소스를 사용하는 것을 원하지 않기 때문입니다. 크롤링 예산 낭비입니다.

상태 코드별로 크롤링된 URL의 분석을 보려면 설정 > 크롤링 통계 > 크롤링 요청 분석 으로 이동합니다.

이 특별한 경우 전체 요청의 16%가 리디렉션된 페이지에 대해 이루어졌습니다.

이와 같은 통계가 표시되면 리디렉션 홉 및 기타 잠재적인 문제를 추가로 조사하고 찾는 것이 좋습니다.

제 생각에 여기에서 볼 수 있는 최악의 경우 중 하나는 많은 양의 5xx 오류입니다.

Google 문서를 인용하자면: "사이트 속도가 느려지거나 서버 오류로 응답하면 제한이 줄어들고 Googlebot이 덜 크롤링합니다."

이 주제에 관심이 있다면 Roger Montti가 Google Search Console의 5xx 오류에 대한 자세한 기사를 작성했습니다.

3. 목적

크롤링 통계 보고서는 크롤링 목적을 두 가지 범주로 분류합니다.

• 새로고침 목적으로 크롤링된 URL(이미 알려진 페이지의 재크롤링, 예를 들어 Googlebot이 새 링크와 콘텐츠를 찾기 위해 귀하의 홈페이지를 방문하고 있음)
• 검색 목적으로 크롤링된 URL(처음으로 크롤링된 URL).

이 분석은 매우 유용하며 다음은 예입니다.

나는 최근에 "발견됨 - 현재 인덱싱되지 않음"으로 분류된 1백만 페이지가 넘는 웹사이트를 발견했습니다.

이 문제는 해당 사이트의 전체 페이지 중 90%에서 보고되었습니다.

(익숙하지 않은 경우 "발견되었지만 색인이 아님"은 Google이 특정 페이지를 발견했지만 방문하지 않았음을 의미합니다. 예를 들어, 동네에서 새로운 레스토랑을 발견했지만 시도하지 않은 경우 .)

옵션 중 하나는 Google이 이러한 페이지의 색인을 점진적으로 생성하기를 기대하면서 기다리는 것입니다.

또 다른 옵션은 데이터를 보고 문제를 진단하는 것이었습니다.

그래서 Google Search Console에 로그인하고 설정 > 크롤링 통계 > 크롤링 요청: HTML 로 이동했습니다.

평균적으로 Google은 해당 웹사이트에서 하루에 7460페이지만 방문하는 것으로 나타났습니다.

그러나 여기에 더 중요한 것이 있습니다.

크롤링 통계 보고서 덕분에 이러한 7460개 URL 중 35%만이 검색을 위해 크롤링되었다는 사실을 알게 되었습니다.

하루에 Google에서 발견한 새 페이지 수는 2611개에 불과합니다.

100만 명 중 2611명.

구글이 이 속도로 전체 웹사이트의 색인을 생성하는 데 382일이 걸립니다.

이 사실을 알게 된 것은 게임 체인저였습니다. 크롤링 예산 최적화에 완전히 집중했기 때문에 다른 모든 검색 최적화는 연기되었습니다.

4. 파일 형식

GSC 크롤링 통계는 JavaScript 웹사이트에 유용할 수 있습니다. Googlebot이 적절한 렌더링에 필요한 JS 파일을 크롤링하는 빈도를 쉽게 확인할 수 있습니다.

사이트가 이미지로 가득 차 있고 이미지 검색이 SEO 전략에 중요한 경우 이 보고서도 많은 도움이 됩니다. Googlebot이 이미지를 얼마나 잘 크롤링하는지 확인할 수 있습니다.

5. 구글봇 유형

마지막으로 크롤링 통계 보고서는 사이트를 크롤링하는 데 사용되는 Googlebot 유형에 대한 자세한 분석을 제공합니다.

모바일 또는 데스크톱 Googlebot과 이미지, 동영상, 광고 봇이 요청한 비율을 확인할 수 있습니다.

기타 유용한 정보

크롤링 통계 보고서에는 서버 로그에서 찾을 수 없는 귀중한 정보가 있습니다.

1. DNS 오류.
2. 페이지 시간 초과.
3. robots.txt 파일 가져오기 문제와 같은 호스트 문제.

URL 검사 도구에서 크롤링 통계 사용

URL 검사 도구에서 크롤링 통계 보고서 외부의 일부 세부 크롤링 데이터에 액세스할 수도 있습니다.

저는 최근에 대규모 전자 상거래 웹사이트에서 일했으며 몇 가지 초기 분석 후에 두 가지 긴급한 문제를 발견했습니다.

1. 많은 제품 페이지가 Google에서 색인이 생성되지 않았습니다.
2. 제품 간에 내부 연결이 없었습니다. Google이 새로운 콘텐츠를 발견할 수 있는 유일한 방법은 사이트맵과 페이지가 매겨진 카테고리 페이지를 통해서였습니다.

자연스러운 다음 단계는 서버 로그에 액세스하여 Google이 페이지를 매긴 카테고리 페이지를 크롤링했는지 확인하는 것이었습니다.

그러나 서버 로그에 액세스하는 것은 특히 대규모 조직에서 작업할 때 정말 어려운 경우가 많습니다.

Google Search Console의 크롤링 통계 보고서가 도움이 되었습니다.

내가 사용한 프로세스와 유사한 문제로 어려움을 겪고 있는 경우 사용할 수 있는 프로세스를 안내해 드리겠습니다.

1. 먼저 URL 검사 도구에서 URL을 찾습니다. 나는 사이트의 주요 카테고리 중 하나에서 페이지가 매겨진 페이지 중 하나를 선택했습니다.

2. 그런 다음 노출 범위 > 크롤링 보고서 로 이동합니다.

이 경우 URL은 3개월 전에 마지막으로 크롤링되었습니다.

이 페이지는 3개월 이상 크롤링되지 않은 웹사이트의 주요 카테고리 페이지 중 하나였습니다.

더 깊이 들어가서 다른 카테고리 페이지의 샘플을 확인했습니다.

Googlebot은 많은 주요 카테고리 페이지를 방문한 적이 없는 것으로 나타났습니다. 그들 중 다수는 여전히 Google에 알려지지 않았습니다.

웹 사이트의 가시성을 향상시키기 위해 작업할 때 해당 정보를 갖는 것이 얼마나 중요한지 설명할 필요가 없다고 생각합니다.

크롤링 통계 보고서를 사용하면 몇 분 안에 이와 같은 것을 확인할 수 있습니다.

마무리

보시다시피 크롤링 통계 보고서는 Google Search Console을 몇 년 동안 찾지 않고도 사용할 수 있음에도 불구하고 강력한 SEO 도구입니다.

색인 생성 문제를 진단하고 크롤링 예산을 최적화하여 Google에서 중요한 콘텐츠를 빠르게 찾고 색인을 생성할 수 있도록 도와줍니다. 이는 특히 대규모 사이트에 중요합니다.

생각해 볼 몇 가지 사용 사례를 제시했지만 이제 공은 법원에 있습니다.

사이트의 가시성을 향상시키기 위해 이 데이터를 어떻게 사용하시겠습니까?

추가 리소스:

• 크롤링 우선 SEO: 크롤링 전에 따라야 할 12단계 가이드
• SEO를 위한 크롤링 예산을 최적화하는 7가지 팁
• 검색 엔진 작동 방식

이미지 크레딧

작성자가 찍은 모든 스크린샷, 2021년 4월