페이지 색인생성 robots.txt에 차단됨 해결방법

티스토리 운영자라면

플러그인으로 구글서치콘솔 연동해서

사용하고 계실 겁니다 

 

저는 습관적으로 빠른 구글링을 위해서

포스팅 발행하면 써치콘솔에서 색인요청을 하고

마무리를 하는 편인데 오늘 아침에 

색인생성 거절 메일을 받았습니다 

 

"페이지 색인 문제가 감지됨

robots.txt 에 의해 차단됨 " 

 

그래서 색인생성 거절이 되는 원인을 확인하고

해결해 보려고 합니다

 

 

  페이지 색인 생성 문제가 감지됨 : robots.txt에 의해 차단됨 

 

무슨 문제 때문일까요?

 

 

색인생성 오류 메일

 

 

 

티스토리를 하시는 분들이야

익숙한 문제이지만

시작한 지 얼마 안 되는 분들은 당황하실 수 있는데요 , 

 

이런 경우 어떠한 페이지에서 차단됐는지

확인하면 문제 해결입니다

 

먼저 메일확인을 하면서

영향을 받은 페이지를

확인하여 주소를 살펴보도록 하겠습니다

 

 

 

  문제해결  

 

 

저의 색인 생성 거절 문제는 간단했어요 

 

 

색인요청 일반주소

 

 

색인요청 관리자 주소

 

 

 

 

위의 두 번째 사진을 보시면

색인요청을 할 때

관리자 페이지에서

주소를 그대로 복사해서 넣었던 것이 문제가 됐습니다

 

/manage라는 부분인데

여기는 관리자 전용이라

방문자나 다른 로봇이 접근할 수 없습니다

 

그래서 크롤링이나 색인을 거부한 것이고

이 부분이 제가 받은 robots.txt의 문제점이었습니다

 

티스토리를 하면서 

플러그인으로 연동해 준

네이버 서치 어드바이저 웹마스터 도구에서

robots.txt를 찾아보겠습니다

 

( 우리가 아는 

검색 포털 사이트들의

 

관리자 권한은

거의 일반적인 로봇들이 들어오지 못하게 

robots.txt라는 명령어를 사용하여

차단시켜 놓았다고 보면 되세요,

 

아무나 중요한 정보를

엿볼 수는 없는 거니까요 )

 

 

 

txt 서치어드바이저

 

 

로봇이 접근할 수 있는 페이지에

 

  Disallow://manage 부분이 확인되네요

 

이 부분을 네이버 검색로봇이 차단하였고

구글이 저에게 통보한 것뿐입니다

 

다음부터 포스팅을 하고 구글서치콘솔에

색인요청할 때는 관리자 페이지 말고

 

일반 주소로 복사하여 색인요청을 하면 

이런 오류 메일은 받지 않을 것입니다

 

2023.05.11 - 티스토리robots.txt 차단 guestbook 오류 해결방법

 

해결방법 별거 아니죠?

 

한 말씀 더 드리자면

받으신 페이지 색인생성 오류 메일 중에

 

"적절한 표준 태그가 포함된 대체 페이지"

라는 메일도  시간이 지나면

해결될 부분이니

 

이런 메일 받으신 분들도

크게 신경 안 쓰셔도 된다고

말씀드리고 싶습니다

 

자세히 말씀드리면 길어지니 

나중에 이 문제에 대해서도

다뤄 보도록 하겠습니다