구글 검색 막는 방법

구글 크롤링에서 자유로워지려면?
이른바 검색 봇 막는 법.

http://www.google.co.kr/webmarsters/
에서 특정 html을 받아서 자신의 사이트에 업로드 후 접속하는 방법으로
도메인을 인증해서 사이트를 관리하는 방법도 있지만
관리자 권한이 있는 사이트의 Document Root에 robot.txt 파일을 만들어서 

User-agent: *

Disallow: /

라고 두줄만 넣어주면 해당 사이트는 구글 검색에 노출되지 않습니다.

간혹 구글 검색하다가 상세내용이 안 보여지는 녀석의 세부설명을 보면 

이 사이트는 robot.txt가 있어서 어쩌고 저쩌고 그래서 못 알아냈다는 말이 뜹니다.

물론 특정인들을 위한 폐쇄사이트라면 이 방법을 추천하지만
일반적으로는 이 방법을 추천하지 않습니다.

어떻게든 구글 검색에 뜨고 싶어서 안달인데

세상에 미쳤다고 저 짓거리를... 

네이버는 이 방법으로 구글검색을 통째로 막고 있었죠.
물론 지금도 그렇게 막고 있지만.
네이버에선 검색엔진이 검색엔진이 막는 광경을 보실 수 있습니다. 

내 참... 어이가 없어서... -_-