"색인이 생성되었으나 robots.txt에 의해 차단됨" 해결하기

경고 문구는 아래와 같습니다.

 

Search Console이 사이트에서 1개의 색인 생성 범위 문제를 발견했습니다.

주요 경고
경고는 개선을 위한 제안사항입니다. 일부 경고는 검색결과 노출에 영향을 미칠 수 있으며, 나중에 오류로 격상될 가능성이 있는 경고도 있습니다. 사이트에서 발견된 경고는 다음과 같습니다.

색인이 생성되었으나 robots.txt에 의해 차단됨

가능한 경우 문제를 해결하여 사이트의 사용자 환경과 Google 검색 노출을 최적화하시기 바랍니다.

 

색인 생성 범위 문제 해결하기 링크를 누르면 아래와 같은 페이지에서 어떤문제인지 나온다.

 

영향을 받은 페이지를 확인하자

티스토리에서 이와 동일한 오류발생가능한 주소는 아래와 같고 /search 는 정상적으로 실행되는 주소라 /search로 오류가 발생했다면 수정불가능하다.

• /owner
• /manage
• /admin
• /oldadmin
• /search (수정 불가)
• /m/search  (수정 불가)
• /m/admin
• /like

내 경우 영향을 받은 페이지는 /manage로 티스토리 관리페이지였다.

 

 

 

 

오래된 콘텐츠 삭제도구로 삭제하기

이 주소를 해결하기 위해서는 오래된 콘텐츠 삭제도구를 이용해볼수 있다.

 

문제가 발생한 주소는 외부에서 접근 불가하기 때문에 없는 페이지로 볼 수 있다.

조건 : 삭제된 페이지로 표시 (HTTP 404 오류)

 

과정은?

1. 문제된 /manage 주소를 삭제요청한다.

   

2. 얼마후(대략 1일 이내) 삭제됨 으로 상태가 변경되어있다.

   

3. 상태가 변경된걸 확인한 후 색인 문제 페이지에서 수정결과 확인을 누른다.

   

4. 다음과정은 구글의 처리를 대기하는일로 "수정결과 확인"을 누르면 아래처럼 변하고, 직원이 검토하여 처리하게됩니다.

   

5. 이렇게 티스토리 색인이 생성되었으나 robots.txt에 의해 차단됨 문제 오류를 수정할 수 있습니다.

   

   

 

 

 

가장 근본적인 해결방법은?

티스토리측에서 아래의 코드를 robots.txt로 차단하는 주소에 등록하는것입니다.

Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
위 주소의 html에

<meta name="robots" content="noindex">

 

이렇게 티스토리에서 해결해준다면, 이러한 오류가 뜨지않을것입니다.