macsplex.com 로그인

검색

nginx
2021.03.22 23:03

nginx semrush bot 차단

조회 수 113 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 게시글 수정 내역 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 게시글 수정 내역 댓글로 가기 인쇄
Extra Form

/etc/nginx/sites-available/도메인 파일의 Server 해당 라인을 추가


### UserAgent block
        if ($http_user_agent = "") {
        return 403;
        }
        if ($http_user_agent ~* (AhrefsBot|BLEXBot|DotBot|SemrushBot|Eyeotabot|PetalBot|MJ12bot|brands-bot|bbot|AhrefsBo|MegaIndex|UCBrowser|Mb2345Browser|MicroMessenger|LieBaoFast|Headless|netEstate|newspaper|Adsbot/3.1|WordPress/|ltx71) ) {
    return 403;
  }


nginx재시작해줍니다.

debian ex) # /etc/init.d/nginx restart


curl를 사용하여 해당봇의 응답을 확인하는 명령어

#  curl -l --User-Agent "Mozilla/5.0 (compatible; SemrushBot; +http://www.semrush.com/bot.html)" https://macsplex.com


<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.10.3</center>
</body>
</html>



403 Forbidden 나오면 차단된걸로 확인하면 됩니다.







TAG •