robots.txt에 의해 차단됨, 구글 검색 색인 오류 발생하는 이유

ROBOTS.TXT에 의해 차단됨 오류 발생 이유

구글 서치 콘솔 페이지 색인 생성을 하다 발견한 오류

robots.txt에 의해 차단됨.

 

이 오류가 나타난 이유에 대하여 알아보자.

 

---

ROBOTS.TXT에 의해 차단됨

구글 서치 콘솔에서 페이지 색인 생성 확인을 하던 중 발견한 오류.

꾸준히 색인 생성 작업을 해도 색인 생성이 되지 않는 페이지가 있었다.

바로 guestbook이라는 링크의 페이지.

guestbook? 잘 생각해보니 이 링크는 내 티스토리 주소의 방명록을 이야기 하고 있었다.

방명록에 있는 것이 없는데 왜 오류가 났을까 URL 검사를 하러 들어갔다.

페이지를 들어갔더니 이게 무슨 일인가.

페이지 색인 생성이 불가능하다고 적혀있다.

 

페이지 공개 상태 란에는 robots.txt에 의해 차단되었다고 적혀있었다.

크롤링 허용 여부와 페이지 가져오기를 확인해보니 모두 robots.txt에 의해 차단되어있다.

이 오류는 왜 일어나는 것일까?

 

ROBOTS.TXT에 의해 차단됨 오류 발생 이유

이리저리 구글링을 해서 알아낸 정보에 따르면,

robots.txt란 봇에 대한 지침 세트이다.

 

구글의 설명을 읽어보면, 콘텐츠의 크롤링이 서버에 문제를 일으키는 경우 사용된다고 한다.

그러니까 크롤링을 했을 때 문제가 되는 콘텐츠가 있을 경우 이 콘텐츠의 크롤링을 차단하는 역할을 하는 것이다.

 

이전 포스팅에서 페이지 색인을 한다는 것은

'이러이러한 글을 썼으니 등록해줘!'

라고 말하는 것과 같다고 했다.

 

그리고 위에서 robots.txt에 의해 차단된 것은 guestbook이라는 링크, 방명록이었다.

 

위의 것들을 종합해서 생각해보면 robots.txt가 방명록의 크롤링을 차단한 것은,

그것이 개인정보와 관련되어 있기 때문이다.

 

개인정보가 구글에서 검색되는 것은 있어서는 안될 일이다.

따라서 이는 크롤링되면 안되는 페이지에 속한다.

 

구글 서치 콘솔에서 페이지 색인 생성을 하다 이 오류를 발견했다면 걱정하지 말자.구글이 제대로 일을 하고 있다고 여기면 될 듯 하다.