X-Robots-Tag HTTP 헤더에 대해 알아야 할 모든 것

가장 기본적인 의미에서 검색 엔진 최적화는 무엇보다 한 가지에 의존합니다. 검색 엔진 스파이더가 귀하의 사이트를 크롤링하고 인덱싱합니다.

그러나 거의 모든 웹사이트에는 이 탐색에 포함하고 싶지 않은 페이지가 있습니다.

예를 들어 개인정보 보호정책이나 내부 검색 페이지가 Google 검색결과에 표시되기를 정말로 원하십니까?

최상의 시나리오에서 이들은 사이트로 트래픽을 적극적으로 유도하는 데 아무 것도 하지 않으며 최악의 경우 더 중요한 페이지에서 트래픽을 전환할 수 있습니다.

다행히 Google에서는 웹마스터가 검색 엔진 봇에게 크롤링할 페이지와 콘텐츠와 무시할 내용을 알려줄 수 있습니다. 이를 수행하는 방법에는 여러 가지가 있으며 가장 일반적인 방법은 robots.txt 파일이나 메타 로봇 ​​태그를 사용하는 것입니다.

우리는 robots.txt의 내용에 대한 훌륭하고 자세한 설명을 가지고 있으며 반드시 읽어야 합니다.

그러나 개괄적으로 말하면 웹 사이트의 루트에 있고 로봇 배제 프로토콜(REP)을 따르는 일반 텍스트 파일입니다.

robots.txt는 크롤러에게 사이트 전체에 대한 지침을 제공하고 메타 로봇 ​​태그에는 특정 페이지에 대한 지침이 포함됩니다.

사용할 수 있는 일부 메타 로봇 ​​태그에는 색인 이 포함되어 검색 엔진에 페이지를 색인에 추가하도록 지시합니다. noindex 는 페이지를 색인에 추가하지 않거나 검색 결과에 포함하지 않도록 지시합니다. 팔로우 , 검색 엔진이 페이지의 링크를 따르도록 지시합니다. 링크를 따르지 말라고 지시하는 nofollow 와 다른 모든 것.

robots.txt 및 메타 로봇 ​​태그는 모두 도구 상자에 보관할 수 있는 유용한 도구이지만 검색 엔진 봇에게 noindex 또는 nofollow를 지시하는 다른 방법인 X-Robots-Tag도 있습니다.

X-Robots-Tag란 무엇입니까?

X-Robots-Tag는 거미가 웹 페이지를 크롤링하고 색인을 생성하는 방법을 제어하는 ​​또 다른 방법입니다. URL에 대한 HTTP 헤더 응답의 일부로 전체 페이지와 해당 페이지의 특정 요소에 대한 인덱싱을 제어합니다.

메타 로봇 ​​태그를 사용하는 것은 매우 간단하지만 X-Robots-Tag는 좀 더 복잡합니다.

그러나 이것은 물론 다음과 같은 질문을 제기합니다.

언제 X-Robots-Tag를 사용해야 합니까?

Google에 따르면 "로봇 메타 태그에서 사용할 수 있는 모든 지시문은 X-Robots-Tag로 지정할 수도 있습니다."

메타 로봇 ​​태그와 X-Robots 태그를 모두 사용하여 HTTP 응답의 헤더에 robots.txt 관련 지시문을 설정할 수 있지만 X-Robots-Tag를 사용하려는 특정 상황이 있습니다. 언제:

• HTML이 아닌 파일이 크롤링되고 인덱싱되는 방식을 제어하려고 합니다.
• 페이지 수준이 아닌 사이트 전체에 지시문을 제공하려고 합니다.

예를 들어 특정 이미지나 비디오가 크롤링되는 것을 차단하려는 경우 HTTP 응답 방법을 사용하면 쉽게 할 수 있습니다.

X-Robots-Tag 헤더는 HTTP 응답 내에서 여러 태그를 결합하거나 쉼표로 구분된 지시어 목록을 사용하여 지시어를 지정할 수 있기 때문에 유용합니다.

특정 페이지를 캐시하지 않고 특정 날짜 이후에는 사용할 수 없도록 하고 싶을 수 있습니다. "noarchive" 및 "unavailable_after" 태그의 조합을 사용하여 검색 엔진 봇이 이러한 지침을 따르도록 지시할 수 있습니다.

기본적으로 X-Robots-Tag의 장점은 메타 로봇 ​​태그보다 훨씬 더 유연하다는 것입니다.

HTTP 응답과 함께 X-Robots-Tag 를 사용하면 정규식을 사용하여 비 HTML에서 크롤링 지시문을 실행할 수 있을 뿐만 아니라 더 큰 글로벌 수준에서 매개변수를 적용할 수 있다는 장점이 있습니다.

이러한 지시문 간의 차이점을 이해하는 데 도움이 되도록 지시문을 유형별로 분류하는 것이 좋습니다. 즉, 크롤러 지시문입니까 아니면 인덱서 지시문입니까?

설명할 수 있는 편리한 치트 시트는 다음과 같습니다.

X-Robots-Tag는 어디에 두나요?

특정 파일 유형을 차단하고 싶다고 가정해 보겠습니다. 이상적인 접근 방식은 X-Robots-Tag를 Apache 구성 또는 .htaccess 파일에 추가하는 것입니다.

X-Robots-Tag는 .htaccess 파일을 통해 Apache 서버 구성에서 사이트의 HTTP 응답에 추가할 수 있습니다.

X-Robots-Tag의 실제 사례 및 사용

이론적으로는 훌륭하게 들리지만 실제 세계에서는 어떤 모습일까요? 한 번 보자.

검색 엔진이 .pdf 파일 형식을 인덱싱하지 않기를 원한다고 가정해 보겠습니다. Apache 서버의 이 구성은 아래와 같습니다.

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Nginx에서는 다음과 같이 표시됩니다.

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

이제 다른 시나리오를 살펴보겠습니다. X-Robots-Tag를 사용하여 .jpg, .gif, .png 등과 같은 이미지 파일이 인덱싱되지 않도록 차단한다고 가정해 보겠습니다. 아래와 같은 X-Robots-Tag로 이 작업을 수행할 수 있습니다.

 <파일 ~ "\.(png|jpe?g|gif)$">
헤더 세트 X-Robots-Tag "noindex"
</파일>

이러한 지침이 작동하는 방식과 지침이 서로에게 미치는 영향을 이해하는 것이 중요합니다.

예를 들어 크롤러 봇이 URL을 발견했을 때 X-Robots-Tag와 메타 로봇 ​​태그가 모두 있는 경우 어떻게 됩니까?

해당 URL이 robots.txt에서 차단되면 특정 색인 생성 및 게재 지시어를 찾을 수 없으며 따르지 않습니다.

지침을 따라야 하는 경우 해당 지침을 포함하는 URL의 크롤링을 금지할 수 없습니다.

X-Robots-Tag 확인

사이트에서 X-Robots-Tag를 확인하는 데 사용할 수 있는 몇 가지 방법이 있습니다.

확인하는 가장 쉬운 방법은 URL에 대한 X-Robots-Tag 정보를 알려주는 브라우저 확장 프로그램을 설치하는 것입니다.

Robots Exclusion Checker 스크린샷, 2022년 12월

예를 들어 X-Robots-Tag가 사용되고 있는지 확인하는 데 사용할 수 있는 또 다른 플러그인은 Web Developer 플러그인입니다.

브라우저에서 플러그인을 클릭하고 "응답 헤더 보기"로 이동하면 사용 중인 다양한 HTTP 헤더를 볼 수 있습니다.

백만 페이지가 있는 웹 사이트에서 문제를 정확히 찾아내기 위해 확장에 사용할 수 있는 또 다른 방법은 Screaming Frog입니다.

Screaming Frog를 통해 사이트를 실행한 후 "X-Robots-Tag" 열로 이동할 수 있습니다.

이렇게 하면 사이트의 어떤 섹션이 태그를 사용하고 있는지, 어떤 특정 지침이 있는지 표시됩니다.

Screaming Frog Report의 스크린샷. X-Robot-Tag, 2022년 12월

사이트에서 X-Robots-Tag 사용

검색 엔진이 웹 사이트와 상호 작용하는 방식을 이해하고 제어하는 ​​것은 검색 엔진 최적화의 초석입니다. X-Robots-Tag는 이를 수행하는 데 사용할 수 있는 강력한 도구입니다.

주의: 위험이 없는 것은 아닙니다. 실수를 저지르고 전체 사이트의 색인을 해제하는 것은 매우 쉽습니다.

즉, 이 글을 읽고 있다면 아마도 SEO 초보자가 아닐 것입니다. 현명하게 사용하고 시간을 갖고 작업을 확인하는 한 X-Robots-Tag가 무기고에 유용한 추가 항목임을 알게 될 것입니다.

추가 리소스:

• Google은 새로운 로봇 태그로 사이트에 더 많은 인덱싱 제어 기능을 제공합니다.
• 6개의 일반적인 Robots.txt 문제 및 해결 방법
• 고급 기술 SEO: 완벽한 가이드

주요 이미지: Song_about_summer/Shutterstock