본문 바로가기

[robots.txt]이용 검색로봇 차단 가이드!! [배가 부른 검색포털] 사실 웹은 이미 너무 많은 정보로 인해서 원하는 정보를 발견하기가 더 어려워지고 있습니다. 어딘가에 있을 듯 하지만, 도무지 찾을 수 없는 정보들.. 특히 현대사회를 "정보"가 "돈"이 되는 사회라고 하지만, 역설적으로 "돈"에 의해서 "정보"의 우선순위가 바뀌고 있는 요즘은 더욱 그렇습니다. 요즘 네이버, 다음 같은 국내 포털들에게서 검색을 이용해서 최상위의 자리를 차지하는 방법은 포털들의 키워드 광고 대행사이면서... 야후에 인수된 야후의 자회사 '오버추어'를 통해서 등록하는 방법이 유일하게 되었습니다. (아.. 구글은 자신들의 검색광고 회사가 있습니다.) 이런 가정을 해볼까요? 당신이 블로그/홈페이지를 제작해서, 내용을 올리고, 관리를 하고, 사람들을 좀 더 쉽게 접근하게 하.. 더보기
검색로봇에게 걸리도록 하는 방법과 검색 못하게 하는 방법 최근 야후봇에 너무 당해서(?) robot.txt를 작성하다가, 저처럼 검색노가다를 하실 테터유저분들이 많으실 것같아서 검색한 정보를 올려봅니다. 검색로봇의 접근을 막는 방법입니다. 로봇을 배제하겠다라는 내용을 적어 놓은 robots.txt 파일을 사이트의 최상위 주소(서버 루트 디렉토리 예:www.naver.com/robots.txt)에 저장하면 됩니다. robots.txt를 서브디렉토리에 놓는 경우 효력이 없다는 사실에 주의하세요. 예를 들어, www.yourhost/~mypage 밑에 robots.txt가 있어도 이는 아무런 효력을 갖지 못합니다. 로봇은 오직 루트 디렉토리의 robots.txt만을 참조할 뿐입니다. 로봇의 접근을 어디까지 허용할 것이냐에 따라 robots.txt에 들어가는 내용은 .. 더보기
웹 로봇의 이름들.. 웹 로봇 이름들.. 이올린 : Mozilla/4.0 (compatible; Eolin) 야후 : Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 올블로그 : Allblog.net RssSync4 (I Love Bluecat) MSN : msnbot/1.0 (+http://search.msn.com/msnbot.htm) Naver : Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp) Naver : Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) Colcol : [Colcol.. 더보기
웹 로봇에 대한 질문 및 대답 (FAQ) 웹 로봇에 대한 질문 및 대답 (FAQ)원저자: Martijn Koster 위치: http://aistar.kotel.co.kr/~hiongun/robots/faq.html 목차 웹 로봇에 대해서 웹 로봇이 뭐죠? 에이전트는 뭔데요? 검색 엔진이 뭐지? 어떤 종류의 로봇이 존재할까? 로봇, 스파이더, 웹크로울러, 벌레, 거미?? 로봇이 웹에 해롭지 않나? 로봇에 대한 정보를 더 얻고 싶으면? 색인화 로봇 로봇이 방문할 곳을 어떻게 결정하나? 색인 로봇이 무엇을 색인할지 어떻게 결정하나? 로봇에게 자기 홈페이지를 등록시키는 방법 서버 운영자를 위해서 로봇이 우리 호스트를 방문했는지 어떻게 아나? 로봇이 나에게 방문했어! 어떻게 하지? 로봇이 내 사이트전체를 너무 빠르게 접근하고 있어! 로봇을 내 서버로 부.. 더보기
[구글 랭킹 요소] SEO(검색엔진 최적화) 체크리스트 100가지 더보기
내 블로그 글을 검색엔진에 노출 안되게 하는 방법! 로봇막기!! 검색 엔진에서 하위페이지로부터 들어오는 것 막기 ---------------------------------------------------------- 뭐 이렇게 해도 들어오실분들은 주소쳐서 다 들어오시겠지만;;; 일단 검색 잘 되고 트래픽 먹는 페이지에 넣어두면 좋을 것 같습니다. (음악 감상실이라던가..) 필사적으로 트래픽 수호.. !! 출처: http://blog.paran.com/weddingday7/13206062 검색엔진이 긁어가는 것 막기 (robots.txt 이용) 검색엔진이 자동으로 긁어가는 것을 막는 방법이다... 단순히 아래의 두 줄을 메모장 등에서 입력하고 파일명을 "robots.txt"로 저장해서 웹서버의 최상단 디렉토리에 올려놓기만 하면 된다. robots.txt -------.. 더보기
구글 검색엔진 (검색결과 삭제/로봇차단) 구글의 검색 결과에 있는 내용을 삭제하고 싶으세요? 구글은 그 검색 결과에 있어서 그 품질을 가장 중요하게 봅니다. 그렇기 때문에 구글은 사용자의 사이트에서 페이지들을 목록화하는 것을, 그 페이지에 대한 책임이 있는 관리자의 요청이 있을 때에만 중지합니다. 이 정책은 어떤 페이지가 구글의 색인에서 부당하게 제거되지 않도록 보호해주기 위해서 필요합니다. 구글은 구글의 사용자를 위해 완전하고 공평한 검색 결과를 제공하기 위한 의무로, 웹에서 정보를 검열하는 행동에 참여할 수 없습니다. 삭제 기능 다음의 삭제 기능들은 구글이 다음 번에 사용자의 사이트 페이지를 색인 할 때 적용됩니다. (보통 6-8주 걸립니다.) 사용자 웹사이트의 URL 바꾸기 사용자의 웹사이트 URL 제거 각각의 페이지 삭제 사이트 내용의 .. 더보기