어제 트래픽 과도하게 발생하는 놈 중의 하나로 서버  nginx 에서 에이전트로 차단을 했습니다.

그런데 검색을 하다보니 해당 단어가 구글에서 사용하는 에이전트와 겹치네요.

https://support.google.com/webmasters/answer/1061943?hl=ko

여기에 보면 

AdsBot-Google-Mobile

AdsBot-Google

두가지가 사용이 됩니다. 

어제는 Adsbot 로만 차단하다가 구글이 사용하는 것을 확인하고  오늘 Adsbot/3.1 의 에이전트명으로 차단하는 것으로 바꿨습니다.

 - 글을 작성하고 확인해 보니 구글과 중간에 B가 대소문자로 달라서 Adsbot 으로 차단했을때 구글봇은 차단이 되지는 않았네요.

 - 추후 뒤에 숫자가 바뀌는 것을 감안한다면 Adsbot 으로 차단하는게 좋겠습니다. 단, 대소문자 구분해서 차단되도록 해서요.

이놈은 현재 access.log 파일이 5만 방문 기록이 되어있는데 그중 1만 방문이 저녀석입니다. 물론 403으로 으로 뜨도록 차단된 기록입니다.

접속하는 주소도 이미 robots.txt 에서 접근하지 마라고 알려준 주소 형태로만 접속합니다.

/index.php?mid=board&search_target=tag&search_keyword=

뭐하는 녀석이길래 저렇게 쉬지도 않고 긁어대는지...