WordPress용 Robots.txt 파일을 추가하는 방법

웹사이트를 만드는 것만으로는 충분하지 않습니다. 검색 엔진에 나열되는 것은 특정 키워드에 대해 웹사이트가 SERP에 표시되도록 모든 웹사이트 소유자의 필수 목표입니다. 이 웹사이트 목록과 최신 콘텐츠의 가시성은 주로 웹사이트를 크롤링하고 색인을 생성하는 검색 엔진 로봇 때문입니다. 웹마스터는 robots.txt라는 특수 파일에 지침을 삽입하여 이러한 로봇이 웹사이트를 구문 분석하는 방식을 제어할 수 있습니다.

이 기사에서는 최고의 웹사이트 SEO를 위해 WordPress robots.txt 파일을 설정하는 방법을 알려 드리겠습니다. WordPress 웹사이트의 여러 페이지는 검색 엔진에서 색인을 생성할 필요가 없습니다.

Robots.txt 파일이란?

robots.txt는 웹사이트의 일부를 크롤링하지 않도록 검색 엔진 크롤러에 지시하는 웹사이트 루트에 있는 텍스트 파일입니다. 검색 엔진이 특정 쓸모없거나 특정 콘텐츠(예: 로그인 페이지 및 민감한 파일)를 색인화하지 못하도록 하는 로봇 제외 프로토콜이라고도 합니다.

간단히 말해서 robots.txt는 검색 엔진 봇에게 웹사이트에서 크롤링해서는 안 되는 내용을 알려줍니다.

작동 방식은 다음과 같습니다. 검색 엔진 봇이 웹사이트의 URL을 크롤링하려고 할 때(즉, 색인을 생성할 수 있도록 정보를 크롤링하고 검색함), 먼저 robots.txt 파일을 찾습니다.

WordPress용 Robots.txt를 만드는 이유는 무엇입니까?

일반적으로 WordPress 웹사이트용 robots.txt 파일을 추가할 필요가 없습니다. 검색 엔진은 기본적으로 전체 WordPress 사이트를 색인화합니다. 그러나 더 나은 SEO를 위해 루트 디렉토리에 robots.txt 파일을 추가하여 검색 엔진이 WordPress 웹사이트의 특정 영역에 액세스하지 못하도록 할 수 있습니다.

IdeaBox – 사례 연구

Cloudways가 WordPress 에이전시가 더 나은 제품을 만드는 데 어떻게 도움이 되었는지 읽어보세요.

Cloudways 서비스 약관 및 개인정보 보호정책에 동의합니다.

지금 사례 연구를 받으십시오!

감사 해요

전자책이 받은 편지함으로 가는 중입니다.

WordPress용 Robots.txt를 만드는 방법은 무엇입니까?

관리되는 WordPress 웹 호스팅 대시보드에 로그인 합니다. 내 예에서는 Cloudways – 관리형 클라우드 호스팅 플랫폼을 사용하고 있습니다.

상단 메뉴 표시줄에서 서버 탭으로 이동하고 서버 관리 → 마스터 자격 증명 에서 SSH/SFTP 액세스 권한을 얻습니다.

FTP 서버 응용 프로그램을 사용하여 WordPress 데이터베이스 파일에 액세스합니다. 이 튜토리얼에서는 FileZilla 를 사용하고 있습니다. 그것을 실행하고 마스터 자격 증명 을 사용하여 서버에 연결하십시오.

연결되면 WordPress 데이터베이스 파일의 /applications 폴더로 이동합니다. 거기에 다른 폴더가 표시됩니다.

이제 Cloudways 플랫폼으로 돌아가 왼쪽 상단 표시줄에서 애플리케이션으로 이동합니다. robots.txt 파일을 추가할 애플리케이션을 선택합니다.

왼쪽 창에서 애플리케이션 관리 → 애플리케이션 설정 → 일반으로 이동 합니다. 응용 프로그램의 폴더 이름을 찾을 수 있습니다.

FileZilla로 돌아가서 /applications/[FOLDER NAME]/public_html로 이동 합니다. 여기에 새 텍스트 파일을 만들고 이름을 robots.txt 로 지정합니다.

robots.txt 파일을 마우스 오른쪽 버튼으로 클릭하고 보기/편집 을 클릭하여 텍스트 편집기에서 엽니다(메모장은 편리한 옵션입니다).

WordPress용 고급 Robots.txt

Google 및 Bing과 같은 검색 엔진은 robots.txt 파일에서 와일드카드 사용을 지원합니다. 이러한 와일드카드는 WordPress 웹사이트 전체에서 특정 파일 유형을 허용/비허용하는 데 사용할 수 있습니다.

별표(*)는 다양한 옵션/선택 항목을 처리하는 데 사용할 수 있습니다.

 사용자 에이전트: *
허용하지 않음 : /images/image*.jpg

여기서 "*"는 "image"로 시작하고 확장자가 "jpg"인 모든 이미지가 검색 엔진에 의해 인덱싱되지 않음을 의미합니다. 다음은 몇 가지 WordPress robots.txt 예제입니다.

예: image1.jpg, image2.jpg, imagexyz.jpg는 검색 엔진에서 색인을 생성하지 않습니다.

*의 힘은 이미지에만 국한되지 않습니다. 특정 확장자를 가진 모든 파일을 허용하지 않을 수도 있습니다.

 사용자 에이전트: *
허용하지 않음: /downloads/*.pdf
허용하지 않음: /downloads/*.png

위의 명령문은 모든 검색 엔진에 다운로드 폴더에 있는 확장자가 "pdf" 및 "png"인 모든 파일을 허용하지 않도록 요청합니다.

*를 사용하여 WordPress 핵심 디렉토리를 허용하지 않을 수도 있습니다.

 사용자 에이전트: *
허용하지 않음: /wp-*/

위의 줄은 검색 엔진이 "wp-"로 시작하는 디렉토리를 크롤링하지 않도록 요청합니다.

예: wp-includes, wp-content 등은 검색 엔진에서 색인을 생성하지 않습니다.

WordPress robots.txt 파일에 사용되는 또 다른 와일드카드 기호는 달러 기호($)입니다.

 사용자 에이전트: *
허용하지 않음: Referral.php

위의 명령문은 검색 엔진에 Referral.php 및 Referral.php?id=123 등을 색인화하지 않도록 요청합니다.

그러나 Referral.php만 차단하려면 어떻게 해야 합니까? Referral.php 바로 뒤에 $ 기호만 포함하면 됩니다.

$ 기호는 Referral.php만 차단되고 Referral.php?id=123은 차단되지 않도록 합니다.

 사용자 에이전트: *
허용하지 않음: Referral.php$

디렉토리에도 $를 사용할 수 있습니다.

 사용자 에이전트: *
허용하지 않음: /wp-content/

이렇게 하면 검색 엔진이 wp-content 폴더와 wp-content 내부에 있는 모든 디렉토리를 허용하지 않도록 지시합니다. 모든 하위 폴더가 아닌 wp-content만 허용하지 않으려면 $ 기호를 사용해야 합니다. 예를 들어:

 사용자 에이전트: *
허용하지 않음: /wp-content/$

$ 기호는 wp-content만 허용되지 않도록 합니다. 이 폴더의 모든 디렉토리는 계속 액세스할 수 있습니다.

아래는 Cloudways 블로그용 robots.txt 파일입니다.

 사용자 에이전트: *
허용하지 않음: /admin/
허용하지 않음: /admin/*?*
허용하지 않음: /admin/*?
허용하지 않음: /blog/*?*
허용하지 않음: /blog/*?

첫 번째 줄은 사용자 에이전트를 나타냅니다. 이것은 웹 사이트에 액세스하고 색인을 생성할 수 있는 검색 엔진을 나타냅니다. 모든 검색 엔진 봇의 전체 목록은 여기에서 볼 수 있습니다 .

 사용자 에이전트: *

여기서 *는 모든 검색 엔진을 의미합니다. 각 검색 엔진을 별도로 지정할 수 있습니다.

 허용하지 않음: /admin/
허용하지 않음: /admin/*?*
허용하지 않음: /admin/*?

이렇게 하면 검색 엔진이 "admin" 디렉토리를 크롤링할 수 없습니다. 검색 엔진이 이러한 디렉토리를 색인화할 필요가 없는 경우가 많습니다.

 허용하지 않음: /blog/*?*
허용하지 않음: /blog/*?

WordPress 사이트가 블로깅 사이트인 경우 검색 엔진 봇이 검색어를 크롤링하지 않도록 제한하는 것이 가장 좋습니다.

사이트에 사이트맵이 있는 경우. URL을 추가하면 검색 엔진 봇이 사이트맵 파일을 찾는 데 도움이 됩니다. 결과적으로 페이지 색인이 더 빨라집니다.

 사이트맵: http://www.yoursite.com/sitemap.xml

WordPress용 Robots.txt에 무엇을 포함해야 합니까?

SERP에 포함할 WordPress 사이트의 부분을 결정합니다. 모든 사람은 WordPress robots.txt 파일 설정에 대한 자신의 견해를 가지고 있습니다. 일부는 WordPress에 robots.txt 파일을 추가하지 않는 것이 좋습니다. 제 생각에는 /wp-admin/ 폴더를 추가하고 허용하지 않아야 합니다. Robots.txt 파일은 공개되어 있습니다. www.example.com/robots.txt를 방문하면 모든 웹사이트의 robots.txt 파일을 찾을 수 있습니다.

WordPress에서 robots.txt 파일로 작업을 마쳤습니다. robots.txt 파일 설정에 대해 궁금한 점이 있으면 아래의 댓글 섹션에 문의해 주세요.

마무리!

보시다시피 robots.txt 파일은 SEO를 위한 흥미로운 도구입니다. 이를 통해 검색 엔진 로봇에게 색인할 항목과 색인화하지 말아야 할 항목을 지적할 수 있습니다. 그러나 조심스럽게 다루어야 합니다. 잘못된 구성은 웹사이트의 완전한 색인 해제로 이어질 수 있습니다(예: Disallow: /를 사용하는 경우). 그러므로 조심 해주시길 바랍니다!

이제 당신 차례입니다. 이 유형의 파일을 사용하는지, 어떻게 구성하는지 알려주세요. 의견에 대한 의견과 피드백을 공유하십시오.