TechSEO360 크롤러 가이드 – 사이트맵 및 기술 SEO 감사

10년 동안 Search Engine People에서 수행하는 기술 SEO 웹 사이트 감사에 사용하는 크롤러는 현재 TechSEO360이라고 합니다. 숨겨진 보석; 비용 효율적, 효율적(모든 크기의 모든 사이트 크롤링), 미래 지향적(예: 다른 크롤러 도구보다 먼저 AJAX 지원을 가짐). 이전에 이 웹사이트 크롤러에 대해 쓴 적이 있지만 보다 포괄적인 올인원 포스트를 작성하고 싶었습니다.

TechSEO360 설명

TechSEO360은 다음과 같은 하이라이트가 있는 기술적인 SEO 크롤러입니다.

• Windows 및 Mac용 기본 소프트웨어.
• 매우 큰 웹사이트를 즉시 크롤링할 수 있습니다.
• 필요한 사람들을 위한 유연한 크롤러 구성.
• 수집된 웹 사이트 데이터를 분석하기 위해 기본 제공 또는 사용자 지정 보고서를 사용합니다(일반적으로 모든 데이터를 Excel로 내보내고 강력한 필터, 피벗, 자동 서식 지정 등을 사용).
• 시각적 사이트맵 외에 이미지, 비디오 및 hreflang XML 사이트맵을 만듭니다.

이 가이드의 구성 방법

이 가이드는 이 소프트웨어에서 찾을 수 있는 가장 중요한 SEO 기능을 모두 다룹니다.

• 데모 웹사이트 https://Crawler.TechSEO360.com을 사용할 것입니다. 우리의 모든 예에서.
• 모든 스크린샷은 Windows 버전에서 가져온 것이지만 Mac 버전에는 동일한 기능과 도구가 포함되어 있습니다.
• TechSEO360을 무료 모드 에서 사용할 것입니다. 이 모드는 초기의 완전한 기능을 갖춘 무료 30 평가판이 종료될 때 전환되는 상태입니다.
• 달리 명시되지 않는 한 웹사이트 크롤링 및 분석에 기본 설정 을 사용합니다.
• 먼저 사이트 크롤링을 구성하는 방법을 보여주고 기술 SEO, 보고서 및 사이트맵으로 넘어갑니다.

크롤링 구성 및 시작

대부분의 사이트는 기본 설정을 사용할 때 잘 크롤링됩니다. 이것은 일반적으로 인터넷, 로컬 서버 또는 로컬 디스크에 있는지 여부에 관계없이 분석하려는 웹 사이트의 경로를 입력하는 것만으로도 구성이 필요하다는 것을 의미합니다.

수동 구성에 대한 쉬운 대안으로 기본 설정을 구성하는 다양한 "빠른 사전 설정"을 적용하는 것도 가능합니다. 예는 다음과 같습니다.

• 비디오 사이트맵을 만들고 싶고 가능한 한 최고의 사이트맵을 만들고 싶어한다는 것을 알고 있습니다.
• 제외되어야 하는 많은 얇은 콘텐츠 URL을 생성하는 특정 웹사이트 CMS를 사용합니다.

설정에 대해 자세히 알아보려면 다음을 포함하여 크롤링 프로세스를 거의 완벽하게 제어할 수 있습니다.

크롤러 엔진

여기에서 HTTP 요청이 수행되는 방식에 대한 심층적인 내부 작업을 할 수 있습니다. 한 가지 특별한 점은 크롤링 속도를 높이는 방법입니다. 단순히 동시 스레드 및 동시 연결 수를 늘리십시오. 컴퓨터와 웹 사이트가 추가 로드를 처리할 수 있는지 확인하십시오.

웹마스터 필터

크롤러가 noindex, nofollow, robots.txt 등을 준수해야 하는 정도를 제어합니다.

분석 필터

URL에서 콘텐츠를 분석해야 하는 규칙을 구성합니다. URL 패턴, 파일 확장자 및 MIME 유형을 포함하여 사용 가능한 여러 "제외" 및 "제한" 필터링 옵션이 있습니다.

출력 필터

"웹사이트 검색 | 분석 필터"와 유사하지만 웹사이트 크롤링이 완료될 때 제거하기 위해 "태그가 지정된" URL을 제어하는 ​​데 대신 사용됩니다.

"웹사이트 스캔 | 웹마스터 필터" 및 "웹사이트 스캔 | 출력 필터"에 있는 옵션에서 제외된 URL은 "웹사이트 스캔 | 크롤러 옵션 | 웹사이트 스캔 후 웹마스터 및 출력 필터 적용" 옵션이 있는 경우 웹사이트 크롤링이 중지된 후에도 계속 유지되고 표시될 수 있습니다. 중지"가 선택 해제되어 있습니다. 이 조합을 사용하면 다음을 수행할 수 있습니다.

• 크롤러가 수집한 모든 정보를 보관하여 모든 것을 검사할 수 있습니다.
• HTML 및 XML 사이트맵을 만들 때 URL이 포함되지 않도록 하세요.
• 보고서 및 내보내기를 수행할 때 여전히 적절한 "태깅"을 얻습니다.

크롤링 진행률

웹 사이트 크롤링 중에 콘텐츠가 분석된 URL 수, 링크 및 참조가 해결된 URL 수, 대기열에서 아직 대기 중인 URL 수를 보여주는 다양한 통계를 볼 수 있습니다.

크롤링 후 웹사이트 개요

사이트 크롤링이 완료되면 프로그램이 왼쪽에 데이터 열이 있는 보기를 엽니다.

URL을 선택하면 오른쪽에서 추가 세부정보를 볼 수 있습니다.

다음은 전체 크기 화면에서 볼 수 있는 방법의 축소판입니다.

왼쪽

여기에서 웹사이트 스캔 중에 찾은 URL 및 관련 데이터를 찾을 수 있습니다. 기본적으로 가장 중요한 데이터 열 중 일부만 표시됩니다. 그 위에 5개의 버튼과 텍스트 상자로 구성된 패널이 있습니다. 목적은 다음과 같습니다.

#1
사전 정의된 "빠른 보고서"가 있는 드롭다운. 다음을 빠르게 구성하는 데 사용할 수 있습니다.

• 표시되는 데이터 열입니다.
• 활성화된 "빠른 필터 옵션"
• 표시되는 내용을 추가로 제한하는 활성 "빠른 필터 텍스트".

#2
웹사이트의 모든 URL을 단순 "목록"과 "트리"로 표시 간에 전환하는 드롭다운입니다.

#삼
표시되는 데이터 열을 구성하는 드롭다운입니다.

#4
위와 비교하여 "경로로 리디렉션" 데이터 열의 가시성을 활성화하면 다음과 같습니다.

#5
선택한 "빠른 필터 옵션"을 구성하는 드롭다운입니다.

#6
모든 "빠른 필터" 기능을 활성화/비활성화하는 켜기/끄기 버튼.

#7
표시되는 내용을 추가로 사용자 지정하는 데 사용되는 "빠른 필터 텍스트"가 포함된 상자입니다.

"빠른 보고서" 및 "빠른 필터" 기능을 사용하는 방법은 나중에 예제와 함께 설명됩니다.

오른쪽

여기에서 왼쪽에서 선택한 URL의 추가 세부 정보를 볼 수 있습니다. 여기에는 추가 세부 정보가 있는 "연결자" 목록, "링크 [내부]" 목록, "사용한 사람" 목록, "디렉토리 요약" 등이 포함됩니다.

세부 정보를 조사할 때 이것을 사용하는 방법을 이해하려면 다음 두 시나리오를 비교하십시오.

#1
왼쪽에서 URL http://crawler.techseo360.com/noindex-follow.html 을 선택했습니다. 크롤러가 "URL 플래그" 데이터 열에서 "[noindex][follow]" 태그를 지정한 것도 볼 수 있습니다.

"Links [internal]" 탭 내부의 오른쪽에서 추가 세부 정보 를 포함하여 모든 링크 를 따랐는지 확인할 수 있습니다.

#2
왼쪽에서 URL http://crawler.techseo360.com/nofollow.html 을 선택했습니다. 크롤러가 "URL flags" 데이터 열에서 "[index][nofollow]" 태그를 지정한 것도 볼 수 있습니다.

"링크 [내부]" 탭 내부의 오른쪽에서 팔로우한 링크가 없음 을 확인할 수 있습니다.

빠른 보고서 사용

내가 말했듯이, 나는 이것을 자주 사용하지 않으며 Show All Data Columns를 선호하고 Excel로 내보내는 것을 선호합니다. 그러나 다른 도구에서 이러한 종류의 기본 보고서를 좋아하는 사람들을 위해 다음은 가장 많이 사용되는 빠른 보고서 중 일부입니다.

모든 유형의 리디렉션

리디렉션 체인을 따라가는 데 필요한 정보를 포함하여 모든 종류의 리디렉션을 표시하는 기본 제공 "빠른 보고서":

기본적으로 다음이 있습니다.

1. 데이터 열의 가시성을 가장 적절한 것으로 변경했습니다.
2. 필터 텍스트를 다음과 같이 설정합니다.
   [httpredirect|canonicalredirect|metarefreshredirect] -[noindex] 200 301 302 307
3. 활성화된 필터:
   • Only show URLs with all [filter-text] found in "URL state flags" column
   • Only show URLs with any filter-text-number found in "response code" column

이를 통해 URL은 다음 세 가지 조건을 충족해야 표시됩니다.

1. HTTP 리디렉션, 표준 지침 또는 "0초" 메타 새로 고침을 통해 다른 URL을 가리켜야 합니다.
2. "NOINDEX" 명령어를 포함할 수 없습니다.
3. 응답 코드 200, 301, 302 또는 307이 있어야 합니다.

404 찾을 수 없음

끊어진 링크와 URL 참조를 빠르게 식별해야 하는 경우 이 보고서가 좋은 선택입니다. 이를 통해 "Linked.List"(예: "a" 태그), "Used.List"(예: "src" 속성) 및 "Redirected.List" 데이터 열이 표시됩니다.

NOINDEX

"NOINDEX" 명령으로 모든 페이지를 빠르게 볼 수 있습니다.

중복 제목 #1

중복된 빈 제목이 있는 페이지를 포함하여 중복된 제목이 있는 모든 페이지를 빠르게 볼 수 있습니다.

중복 제목 #2

다른 필터에 의해 재정의되지 않는 경우 필터 텍스트는 표시되는 모든 데이터 열 내부의 콘텐츠와 일치합니다. 여기에서 중복 제목 보고서를 "예제"라는 단어가 포함된 보고서로 좁혔습니다.

제목 문자 수

제목 문자 수로 표시되는 URL을 제한합니다. 임계값과 위 또는 아래를 제어할 수 있습니다. 유사한 설명을 사용할 수 있습니다.

제목 픽셀 수

제목 픽셀 수로 표시되는 URL을 제한합니다. 임계값과 위 또는 아래를 제어할 수 있습니다. 유사한 설명을 사용할 수 있습니다.

이미지 및 누락된 Alt/Anchor Text

대체 텍스트 없이 사용되었거나 앵커 텍스트 없이 연결된 이미지 URL만 표시합니다.

기타 도구

온페이지 분석

기본적으로 웹 사이트 크롤링 동안 모든 페이지에 대해 포괄적인 텍스트 분석이 수행됩니다. 이에 대해 찾은 옵션은 다음과 같은 결과를 제공하는 "웹 사이트 스캔 | 데이터 수집"에 있습니다.

그러나 전체 웹사이트를 크롤링하지 않고도 항상 단일 페이지를 분석할 수도 있습니다.

"선택한 페이지에 대한 점수 합계" 버튼을 사용하면 전체 웹사이트에서 어떤 키워드와 구문이 타겟팅되는지 확인할 수 있습니다.

키워드 목록

키워드 목록을 결합하고 포괄적인 정리를 수행할 수 있는 유연한 키워드 목록 작성 도구입니다.

타사 온라인 도구

더 많은 도구가 필요한 경우 직접 추가하고 드롭다운 대신 탭으로 액세스할 수 있는 도구를 결정할 수도 있습니다.

소프트웨어는 선택한 URL 또는 선택한 온라인 도구와 유사한 URL을 자동으로 전달합니다. 각 온라인 도구는 전달되는 데이터와 수행 방법을 정의하는 텍스트 파일로 구성됩니다.

사이트맵

사이트맵 파일 형식

13 개의 고유한 사이트맵 파일 형식으로 귀하의 요구 사항을 충족할 수 있습니다. 여기에는 XML 사이트맵, 동영상 사이트맵 및 이미지 사이트맵이 포함됩니다.

XML 사이트맵 및 Hreflang

웹사이트에 hreflang 마크업이 포함되어 있지 않더라도 TechSEO360은 URL에 언어 문화 또는 국가에 대한 참조가 포함된 부분이 포함된 경우 적절한 대체 hreflang 정보가 포함된 XML 사이트맵을 생성할 수 있습니다.

XML 이미지 및 비디오 사이트맵

일반적으로 "빠른 사전 설정" 중 하나를 사용하여 구성 속도를 높일 수 있습니다.

• 구글 비디오 사이트맵
• Google 비디오 사이트맵(웹사이트에 외부에서 호스팅되는 비디오가 있음)
• 구글 이미지 사이트맵
• Google 이미지 사이트맵(웹사이트에 외부에서 호스팅되는 이미지가 있음)

이미지 사이트맵과 동영상 사이트맵을 모두 만들려는 경우 이미지 사이트맵에 최적화된 모든 구성도 포함되어 있으므로 비디오 선택 항목 중 하나를 사용하십시오.

TechSEO360은 생성된 XML 사이트맵에서 어떤 페이지, 비디오 및 이미지가 함께 속하는지 계산하기 위해 다양한 방법을 사용합니다. 이는 이미지 또는 비디오가 여러 위치에서 사용되는 경우 까다로울 수 있습니다.

HTML 사이트맵

내장된 HTML 템플릿에서 선택하거나 실제 HTML/CSS/JS 코드와 사이트맵을 구축할 때 사용되는 다양한 옵션을 포함하여 직접 디자인합니다.

기타 기능

자바스크립트 및 AJAX 지원

"웹 사이트 스캔 | 크롤러 옵션 | Javascript 내에서 검색 시도" 옵션을 선택하여 파일 및 URL 참조에 대한 Javascript 코드를 검색하도록 TechSEO360을 구성할 수 있습니다.

AJAX 웹 사이트를 다루는 경우 "웹 사이트 검색 | 크롤러 엔진 | 기본 경로 유형 및 처리기"에서 AJAX 지원 솔루션으로 전환할 수 있습니다.

사용자 정의 텍스트 및 코드 검색

전체 웹사이트에서 텍스트와 코드를 검색하는 것은 종종 유용할 수 있습니다(예: 이전 Google Analytics 코드 또는 이와 유사한 코드를 사용하여 페이지 찾기).

"웹사이트 스캔 | 데이터 수집"에서 다중 검색을 구성할 수 있습니다. 사용자 정의 문자열, 코드 및 텍스트 패턴 검색".

결과는 각 검색에 대한 개수를 보여주는 데이터 열 "페이지 맞춤 검색"에 표시되며 선택적으로 패턴 일치에서 추출된 콘텐츠와 함께 표시됩니다.

계산된 중요도 점수

TechSEO360은 내부 링크 및 내부 리디렉션을 기반으로 모든 페이지의 중요도를 계산합니다.

데이터 열 "크기 조정된 중요도 점수"의 가시성을 활성화하여 이를 확인할 수 있습니다.

유사 콘텐츠 감지

때로는 페이지가 비슷하지만 정확히 중복되지는 않습니다. 이를 찾으려면 스캔하기 전에 "웹 사이트 스캔 | 데이터 수집 | 확장 데이터 추적 및 저장 | 모든 페이지에 대해 키워드 분석 수행" 옵션을 활성화할 수 있습니다.

결과를 볼 때 "페이지 콘텐츠 중복(시각적 보기)" 데이터 열의 가시성을 활성화하면 콘텐츠의 그래픽 표현을 얻을 수 있습니다.

명령줄 인터페이스(CLI)

평가판 또는 유료 버전을 사용하는 경우 명령줄을 사용할 수 있습니다. 예는 다음과 같습니다.
"techseo.exe" -exit -scan -build ":my-project.ini" @override_rootpath=http://example.com@
위의 내용은 모든 옵션이 정의된 프로젝트 파일을 전달하고 웹사이트 도메인을 재정의하며 TechSEO360에 전체 크롤링, 사이트맵 빌드 및 종료를 실행하도록 지시합니다.

데이터 가져오기

"파일 | 가져오기..." 기능은 지능적으로 작동하며 다음과 같은 용도로 사용할 수 있습니다.

• URL 목록을 가져옵니다. 가져온 URL이 혼합 도메인에서 온 경우 TechSEO360은 기본 도메인이 있는지 확인하고 적절하게 "내부" 및 "외부" 탭으로 가져옵니다.
• TechSEO360은 또한 기존 데이터에 콘텐츠가 대신 추가될 다양한 다른 데이터 소스를 감지할 수 있습니다.
  • Apache 서버는 GoogleBot "[googlebot]"이 방문한 "태그" URL에 기록하고 내부적으로 연결/사용되지 않은 "[orphan]" URL을 감지합니다.
  • Google 웹마스터 도구는 Google "[googleindexed]"에서 색인을 생성한 "태그" URL과 클릭 및 노출 데이터를 내보냅니다.
  • 백링크 점수 데이터에 대한 Majestic CSV 내보내기.

  위의 "[...]"는 "빠른 필터 텍스트"에서 추가 사용자 정의 보고서를 생성하는 데 사용할 수 있습니다.

데이터 내보내기

"파일 | 내보내기..." 기능은 내보내는 항목에 따라 CSV, Excel, HTML 등으로 데이터를 내보낼 수 있습니다. 쓰다:

• 내보낼 데이터가 있는 컨트롤을 선택합니다.
• 컨트롤에 내보내려는 데이터만 포함되도록 옵션을 적용합니다. (예: "데이터 열", "빠른 필터 옵션" 및 "빠른 필터 텍스트"를 포함할 수 있음)
• "내보내기" 버튼을 클릭하면 이제 원하는 형식의 원하는 데이터가 생성됩니다.

TechSEO360 가격

기본적으로 세 가지 다른 상태가 있습니다.

1. 소프트웨어를 처음 다운로드하면 모든 기능을 갖춘 30일 무료 평가판 이 제공됩니다.
2. 평가판이 만료되면 웹사이트에서 500페이지를 크롤링할 수 있는 무료 모드 에서 계속 작동합니다.
3. 연간 구독 가격은 Windows와 Mac 모두에서 사용할 수 있는 단일 사용자 라이선스에 대해 $99 입니다.

https://TechSEO360.com에서 Windows 및 Mac용 평가판을 다운로드할 수 있습니다. .