인터넷 검색엔진 배제표준
Robots Exclusion Protocol
robots.txt 파일을 홈페이지 최상위 디렉토리에 생성
내용
User-agent: *
Disallow: /
일부 디렉토리만 검색 거부
예를들어 /data, /password 디렉토리 검색거부
User-agent: *
Disallow: /data/
Disallow: /password/
HTML문서의 메타태그를 이요한 보호
HTML 태그에 아래 HEAD 사이에 META 태그 추가
<HEAD>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
...
</HEAD>
(대소문자 구분 없음)
Robots Exclusion Protocol
robots.txt 파일을 홈페이지 최상위 디렉토리에 생성
내용
User-agent: *
Disallow: /
일부 디렉토리만 검색 거부
예를들어 /data, /password 디렉토리 검색거부
User-agent: *
Disallow: /data/
Disallow: /password/
HTML문서의 메타태그를 이요한 보호
HTML 태그에 아래 HEAD 사이에 META 태그 추가
<HEAD>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
...
</HEAD>
(대소문자 구분 없음)