대략 그제 그리고 어제 서버에 트래픽이 평소보다 너무 많게 발생하고 있었습니다. 제가 운영하는 사이트 2개가 있는 저희 서버는 요즘 하루에 총 6-7G 해외 트래픽은 2-3G 정도 밖에 안됩니다. 

그런데 그제 갑자기 해외 트래픽이 10G 발생으로 하고 총 트래픽도 그에 따라 추가된 만큼 더 발생하게 되었습니다.

그래서 불필요한 봇 에이전트 2개 정도 더 차단하고 정상적인 검색엔진 구글,네이버,빙도 너무 많은  url로 접속해서  robots.txt에 url 패턴을 등록해서 등록된 패턴의  url의 접근을 막아 쓸데없는 트래픽 낭비를 막도록 조치를 했습니다.

다행히 어제까지 조치를 했고 때 마침 네이버,빙이 진정을 좀 했는지 과도한 트래픽이 이제 존 진정을 했네요.

물론 검색엔진 구글과 빙은 특정한 날에 또 많은 크롤링을 하거나 하곤 합니다. 그래서 불필요한  url까지 긁어가도록 그냥 두면 계속 트래픽 누수에 큰 원인이 되니 필요한 url 패턴으로 제한은 필요합니다.

https://rxtip.kr/free/2240

https://rxtip.kr/free/2236