meta tag를 통해 검색엔진 접근을 제한하는 방법

Name

achor

( 2011-05-31 23:38:13 Hit: 13783 Vote: 22 )

Homepage

http://empire.achor.net

Category

Seach

지난 robots.txt를 통해 검색엔진 접근을 제한하는 방법 http://empire.achor.net/blog/4 에 이은 2번째.

robots.txt의 Disallow 설정을 통해
접근하지 말았으면 하는 디렉토리를 오히려 명시해야 해서 이를 악의적인 사람들이 악용할 수 있는 딜레마가 있었는데
그 대안 중 한 가지가 바로 이번에 설명하려는 meta tag를 통한 검색엔진 제한 설정법입니다.

용법은 간단합니다.
head tag 내에 name은 검색엔진로봇명을, content는 명령어를 지정하여 삽입하면 됩니다.



 <head>

 	<meta name="robots" content="noindex" />

 </head>

name에 robots를 쓰게 되면 모든 robots을 대상으로 하게 되고,
그렇지 않고 googlebot 처럼 지정할 수도 있습니다.



 <head>

 	<meta name="googlebot" content="noindex" />

 </head>

명령어로는
NoIndex, NoFollow, NoArchive, NoSnippet, NoODP, NoYDIR, NoImageIndex, NoTranslate, Unavailable_After 등이 있으며,
검색엔진별로 적용되는 수준의 차이는 있습니다.

NoIndex가 기본적으로 검색하지 말라는 명령어이고,
NoFollow는 검색엔진으로 하여금 페이지에 존재하는 링크들에 관심을 갖지 않게 하는 명령어입니다. SEO의 순위선정 기법 중 Page Rank에 관련된 명령어이지요.
NoArchive는 Cache 하지 못하게 하는 명령어입니다. google의 경우엔 스냅샷이 불가능해 집니다.
NoSnippet은 요약을 표시하지 못하게 하고, 스탭샷링크도 연결 못하도록 합니다.
NoODP는 Open Directory Project의 데이터를 반영하지 못하게 합니다. ODP의 설명문은 좀 old 하다는 이야기를 들어왔고, 그리하여 KWIC이나 Meta Description의 정보를 활용하도록 하는 것입니다.
NoYDIR는 Yahoo의 디렉토리 설명을 표현하지 않도록 하는 명령어입니다.
NoImageIndex는 이미지를 인덱스 하지 말라는 명령어이고,
NoTranslate는 Google의 번역된 검색을 제공하지 말라는 명령어이며,
Unavailable_After는 지정된 날짜까지만 검색을 허용한다는 명령어입니다.

위 명령어 중에는 Google이나 Yahoo가 독자적으로 만들어 낸 것도 있기에
모든 검색엔진들이 명령어대로 적합하게 반응하는 건 아닙니다.

적용 가능 여부는 아래의 표를 참조하세요.

Terms	Googlebot	Slurp	MSNBot	Teoma
NoIndex	Yes	Yes	Yes	Yes
NoFollow	Yes	Yes	Yes	Yes
NoArchive	Yes	Yes	Yes	Yes
NoSnippet	Yes	No	No	No
NoODP	Yes	Yes	Yes	No
NoYDIR	No	Yes	No	No
NoImageIndex	Yes	No	No	No
NoTranslate	Yes	No	No	No
Unavailable_After	Yes	No	No	No

References: http://noarchive.net/meta/

기본적으로 미 지정 시 모두 허용의 판정을 받게 됩니다.
곧 <meta name="robots" content="noindex, nofollow" />와 같이 필요한 사항을 모두 나열해 주어야 합니다.

- achor

본문 내용은 4,930일 전의 글로 현재의 관점과 다를 수 있습니다.

Post: https://achor.net/board/blog/5
Trackback: https://achor.net/tb/blog/5
RSS: https://achor.net/rss/blog

Share

Tag

SEO, 검색엔진, bot, meta

- 검색엔진: 새삼 (2009-02-18 02:28:33)	- SEO: RSS 피드, 블로그를 검색엔진, 메타블로그에 등록하자 (2011-05-23 09:37:36)

- SEO: 중복되는 링크를 위해 canonical link를 사용하자 (2011-05-23 03:01:46)	- SEO: robots.txt를 통해 검색엔진 접근을 제한하는 방법 (2011-05-31 21:58:48)