nginx semrush bot 차단

DNAVI

조회 수 526 추천 수 0 댓글 0

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 게시글 수정 내역 댓글로 가기 인쇄

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 게시글 수정 내역 댓글로 가기 인쇄

/etc/nginx/sites-available/도메인 파일의 Server 해당 라인을 추가

### UserAgent block
        if ($http_user_agent = "") {
        return 403;
        }
        if ($http_user_agent ~* (AhrefsBot|BLEXBot|DotBot|SemrushBot|Eyeotabot|PetalBot|MJ12bot|brands-bot|bbot|AhrefsBo|MegaIndex|UCBrowser|Mb2345Browser|MicroMessenger|LieBaoFast|Headless|netEstate|newspaper|Adsbot/3.1|WordPress/|ltx71) ) {
    return 403;
  }

nginx재시작해줍니다.

debian ex) # /etc/init.d/nginx restart

curl를 사용하여 해당봇의 응답을 확인하는 명령어

# curl -l --User-Agent "Mozilla/5.0 (compatible; SemrushBot; +http://www.semrush.com/bot.html)" https://macsplex.com

<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.10.3</center>
</body>
</html>

403 Forbidden 나오면 차단된걸로 확인하면 됩니다.

--------------------------------------------------광고(Advertising)-------------------------------------------------------------------------------------

TAG •