사이트 2개에 방문해서 별로 영양가도 없고 피해만 주는 그런 봇들 발견하고 조치했던 봇들의 에이전트 모음입니다.
서버단에서 에이전트로 차단했었는데 에이전트명이 풀네임 경우도 있고 일부 인 경우도 있습니다. 에이전트 명에 지금 나열한 단어가 포함되어 있으면 차단이 되니 아래 목록을 사용했습니다.
WordPress/
AhrefsBo
BLEXBot
DotBot
SemrushBot
MegaIndex
UCBrowser
Mb2345Browser
MicroMessenger
LieBaoFast
Headless
netEstate
newspaper
Adsbot/3.1
PetalBot
MJ12bot
굉장히 많지는 않네요.
잘 봤습니다. 저도 확인해보고 차단 해야겠습니다.