본문 바로가기

검색봇

[robots.txt]이용 검색로봇 차단 가이드!! [배가 부른 검색포털] 사실 웹은 이미 너무 많은 정보로 인해서 원하는 정보를 발견하기가 더 어려워지고 있습니다. 어딘가에 있을 듯 하지만, 도무지 찾을 수 없는 정보들.. 특히 현대사회를 "정보"가 "돈"이 되는 사회라고 하지만, 역설적으로 "돈"에 의해서 "정보"의 우선순위가 바뀌고 있는 요즘은 더욱 그렇습니다. 요즘 네이버, 다음 같은 국내 포털들에게서 검색을 이용해서 최상위의 자리를 차지하는 방법은 포털들의 키워드 광고 대행사이면서... 야후에 인수된 야후의 자회사 '오버추어'를 통해서 등록하는 방법이 유일하게 되었습니다. (아.. 구글은 자신들의 검색광고 회사가 있습니다.) 이런 가정을 해볼까요? 당신이 블로그/홈페이지를 제작해서, 내용을 올리고, 관리를 하고, 사람들을 좀 더 쉽게 접근하게 하.. 더보기
구글로봇이 좋아하는 메타테그 메타테그작성법 흔히 메타태그 작성했는데도 잘 검색이 되지 않은 이유는 분명 있습니다. 검색엔진에서 메타태그를 잘 걸리도록 설정하는 TIP입니다. 검색전용 엔진에 잘걸릴 수 있도록 헤더를 최적화 해주면 구글처럼 순수 검색엔진에 상위에 노출될 수 있습니다. 실례로 네이버 웹문서페이지에서 "대출" 키워드 검색해보시면 조이론 이라고 보일겁니다. 1페이지로 급상승한걸 확인하실수가 있으실겁니다 출처 : http://blog.daum.net/infusion/14 더보기
검색로봇에게 걸리도록 하는 방법과 검색 못하게 하는 방법 최근 야후봇에 너무 당해서(?) robot.txt를 작성하다가, 저처럼 검색노가다를 하실 테터유저분들이 많으실 것같아서 검색한 정보를 올려봅니다. 검색로봇의 접근을 막는 방법입니다. 로봇을 배제하겠다라는 내용을 적어 놓은 robots.txt 파일을 사이트의 최상위 주소(서버 루트 디렉토리 예:www.naver.com/robots.txt)에 저장하면 됩니다. robots.txt를 서브디렉토리에 놓는 경우 효력이 없다는 사실에 주의하세요. 예를 들어, www.yourhost/~mypage 밑에 robots.txt가 있어도 이는 아무런 효력을 갖지 못합니다. 로봇은 오직 루트 디렉토리의 robots.txt만을 참조할 뿐입니다. 로봇의 접근을 어디까지 허용할 것이냐에 따라 robots.txt에 들어가는 내용은 .. 더보기
웹 로봇의 이름들.. 웹 로봇 이름들.. 이올린 : Mozilla/4.0 (compatible; Eolin) 야후 : Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 올블로그 : Allblog.net RssSync4 (I Love Bluecat) MSN : msnbot/1.0 (+http://search.msn.com/msnbot.htm) Naver : Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp) Naver : Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) Colcol : [Colcol.. 더보기
[구글 랭킹 요소] SEO(검색엔진 최적화) 체크리스트 100가지 더보기
구글 검색엔진 (검색결과 삭제/로봇차단) 구글의 검색 결과에 있는 내용을 삭제하고 싶으세요? 구글은 그 검색 결과에 있어서 그 품질을 가장 중요하게 봅니다. 그렇기 때문에 구글은 사용자의 사이트에서 페이지들을 목록화하는 것을, 그 페이지에 대한 책임이 있는 관리자의 요청이 있을 때에만 중지합니다. 이 정책은 어떤 페이지가 구글의 색인에서 부당하게 제거되지 않도록 보호해주기 위해서 필요합니다. 구글은 구글의 사용자를 위해 완전하고 공평한 검색 결과를 제공하기 위한 의무로, 웹에서 정보를 검열하는 행동에 참여할 수 없습니다. 삭제 기능 다음의 삭제 기능들은 구글이 다음 번에 사용자의 사이트 페이지를 색인 할 때 적용됩니다. (보통 6-8주 걸립니다.) 사용자 웹사이트의 URL 바꾸기 사용자의 웹사이트 URL 제거 각각의 페이지 삭제 사이트 내용의 .. 더보기