Rev. 2.73

야후와 Bing이 검색 제휴를 맺었다는 소식을 뒤늦게 접하고 Bing 웹마스터 도구를 이용하여 firejune.com의 크롤링을 신청하고 약 한 달 정도 지났지만 크롤이 단 한 건도 성공하지 못하여 알아보니 카페24 호스팅에서는 주기적인 서버부하 등의 문제가 발생하여 Bingbot을 전역으로 차단하고 있다는 정보를 찾을 수 있었습니다. 실제로 Bing 웹마스터 도구에서 제공하는 "Bingbot으로 가져오기" 도구를 이용하여 크롤 성공 여부를 확인해 보니, 모든 URL에 대하여 다음과 같은 403 Forbidden이 발생하고 있었습니다.

HTTP/1.1 403 Forbidden
Connection: keep-alive
Date: Thu, 25 Oct 2012 16:46:02 GMT
Transfer-Encoding: chunked
Content-Type: text/html; charset=iso-8859-1
Server: apache

그래서 Cafe24의 문의 게시판에 위와 같은 증상과 해결방법을 보고했더니 FTP홈디렉토리의 .htaccess파일의 제일 하단에 다음과 같은 코드를 삽입하여 해결해 주더군요.

PHP_FLAG register_globals ON
PHP_VALUE mysql.default_charset UTF8
<IfModule mod_url.c>
   CheckURL  Off
</IfModule>
SetEnvIfNoCase User-Agent "bingbot" !go_out

이 코드가 적용되고 며칠이 지난 후 정상적으로 크롤링하는 것을 확인할 수 있었습니다.

보고서 및 데이터 - Bing 웹 마스터 도구-022118.png

혹시 저와 같은 문제를 겪으신다면 이와 같은 방법으로 해결할 수 있습니다.

Comments

Got something to add? You can just leave a comment.

Your Reaction Time!

captcha

avatar