'robots.txt에 의해 차단됨' 원인과 'Disallow' 해결 방법 'robots.txt폴더' 업로드하지 마세요!!!

 

색인-생성

인터넷과 친하지 않은 분들이라면 블로그를 운영하면서 'robots.txt에 의해 차단됨'이라는 글을 보고 답답할 때가 많았을 것 같아요. 저도 그중 한 명입니다...

 

그래서 이런 상황에 대해 제가 알아낸 최대한의 것을 말씀드리겠습니다.

 

1) 'robots.txt에 의해 차단됨' 확인

색인 생성에 대해 확인하면 robots.txt라는 단어가 유독 많이 보이고 색인이 생성되지 않는다는 글에 불안감이 올라오더라고요.

 

구글 서치콘솔의 왼편에 있는 '페이지'에 들어가시면 색인 생성에 대한 결과를 확인하실 수 있습니다.

아래로 내리면 'robots.txt에 의해 차단됨'이라는 항목이 있습니다.

 

robots.txt 에-의해-차단됨

 

다음으로 왜 로봇에 의해 차단되는지 항목을 눌러 들어가 보겠습니다.

 

2) robots.txt에 의해 차단되는 원인과 해결방법

 

들어가서 스크롤을 내리면 제 블로그의 URL이 쭈욱 늘어져 있습니다.

색인 생성이 안 되는 게 너무 많은데 이유도 너무 어려워서 이해를 못 하겠더라고요.ㅠㅠ

   

여기서 URL 중 하나를 클릭하면 오른편에서 'Disallow'라는 단어를 볼 수 있습니다.

이 '허용되지 않음'이라는 표기에 대해서 많은 검색을 많이 해봤습니다.

 

Disallow

 

검색을 한 결론은 굳일 손댈 필요가 없습니다!!

 

robots.txt는 웹사이트에 웹 크롤러 같은 로봇들의 접근을 제어하기 위해 사용하는 겁니다.

티스토리 측에서 일부러 로봇의 접근을 제어하기 위해 만들어 놓은 것인데요.

 

robots.txt의-뜻

 

 

여러분 페이지에 나와있는 URL을 검색해 보셨나요??

직접 들어가 보니 방명록, 글쓰기, 검색이 대부분이었습니다.

굳이 색인해가지 않아도 되는 내용이죠.

 

'guestbook', 'm/guestbook', 'owner', 'admin', 'search', 'm/search'

 

이런 문구가 적혀있을 경우 색인을 방지하기 위한 목적으로 사용하는 것이기 때문에 손쓰지 않아도 됩니다.

 

티스토리의-robots.txt-제어

 

 

 

3) robots.txt폴더 업로드 꼭 읽어주세요!

 

검색을 여러 곳에 해보니 robots.txt폴더를 업로드를 하면 색인 생성이 된다는 글이 꽤 많더군요.

하지만 파일업로드를 해도 폴더가 이미지로 저장되기 때문에 의미가 없습니다.

 

본질적으로 말하자면 robots.txt는 접근을 제어하는 목적이므로 설치할 필요도 없습니다..

 

 

색인 생성이 안 돼서 블로그가 잘 되지 않을까 봐 저와 같이 불안감이 올라오는 분들이 많으실 것 같습니다.

도움이 되었으면 좋겠습니다.