인터넷 검색엔진 배제표준
Robots Exclusion Protocol

robots.txt 파일을 홈페이지 최상위 디렉토리에 생성

내용

User-agent: *
Disallow: /

일부 디렉토리만 검색 거부
예를들어 /data, /password 디렉토리 검색거부

User-agent: *
Disallow: /data/
Disallow: /password/


HTML문서의 메타태그를 이요한 보호

HTML 태그에 아래 HEAD 사이에 META 태그 추가

<HEAD>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
...
</HEAD>

(대소문자 구분 없음)