초보 티스토리의 '색인이 생성되었으나 robots.txt에 의해 차단됨' 해결과정

1. 구글서치콘솔에서 문제가 발견되었다는 메일 수신

2. 구글서치콘솔 색인 과정에서 2개의 페이지 차단

3. robots.txt가 무엇인지 파악하고 해결과정

이번 글은 위와 같은 순서로 작성됩니다.

1. 색인 차단되었다는 메일 수신

구글메일에 오랜만에 접속해보니 구글서치콘설에서 다음과 같은 메일이 와있었습니다.

메일의 내용은 2개 페이지에 색인을 시도했고, robots.txt에 의해 색인과정이 차단되었다는 내용이었습니다.

여기서 색인과정과, robots.txt의 역할이 무엇인가라는 궁금증이 생기실텐데

티스토리를 효과적으로 운영하기 위해서 다음 외에도 다른 포털사이트의 검색유입을 활발하게 하기위해

검색최적화 작업을 진행해줍니다.

저는 네이버, 구글, zum, bing 4개의 사이트에 사이트 등록을 하며 티스토리에 유입을 늘리고자 시도하였는데요.

그 과정에서 네이버서치어드바이져, 구글은 서치콘솔의 봇이 방문해

글과 블로그가 문제가 없는지 판단하여 분류하고 노출이 가능한 글을 가져가는 작업을 한다고 보시면 됩니다.

무슨 일인지 구글 서치콘솔에 접속해보니 색인이 생성되었으나 robots.txt에 의해 차된 됨

이라는 문구와 함께 영향을 받은 페이지가 2개로 표시되어 있습니다.

구글이 내 페이지를 방문하였으나 2개의 페이지가 robots.txt에 의해 차단되었다는 것을 의미하는 것입니다.

이로써 구글에 제 티스토리가 노출될 가능성이 있다는 것이 11월 9일 이후로 생긴 것 같습니다.

첫 글을 10월 27일 작성했는데 꾸준히 작성한 보람이 있네요.

서치콘솔에서 자세히 영향을 받은 페이지를 확인해 보니 모두 /manage가 들어간 페이지였습니다.

봇이 색인을 하는 과정에서 접근할 수 없는 곳이 존재하는데, 블로그 관리자는 접근을 할 수없게

티스토리 내에서 막아 놓은 명령어가 robots.txt 입니다.

티스토리에서도 글과 페이지는 검색포털에서 가져가서 노출시키는 것은 괜찮으나 관리자 페이지는 접근하는 것은

명령어로 막아놓은 것이지요. 이는 관리자 고유의 영역이자 타사에 정보를 제공해 줄 수 없는 소스등이 포함된 것 같습니다.

포스팅에 관한 글은 색인되는데 문제가 없었고 관리자와 관련된 페이지는 robots.txt를 이용해 모두 막아 놓는다고합니다.

/manage외에도 /admin 등이 해당된다고 하네요.

'색인이 생성되었으나 robots.txt에 의해 차단됨'이라는 메일을 받으셨을 경우

구글 서치콘솔의 검색 봇이 티스토리를 잘 방문하고 있다는 증거이니 너무 걱정은 안하셔도 될 것 같습니다.

저 또한 다른 글들이 문제가 생겼다면 걱정했을텐데 관리자 페이지가 유효페이지여서 걱정하지 않고

티스토리를 계속 운영할 생각입니다.

해당글이 도움이 되셨으면 좋겠습니다. 긴글 읽어주셔서 감사합니다.