nginx
2021.03.22 23:03

nginx semrush bot 차단

조회 수 5 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄
Extra Form

/etc/nginx/sites-available/도메인 파일의 Server 해당 라인을 추가


### UserAgent block
        if ($http_user_agent = "") {
        return 403;
        }
        if ($http_user_agent ~* (AhrefsBot|BLEXBot|DotBot|SemrushBot|Eyeotabot|PetalBot|MJ12bot|brands-bot|bbot|AhrefsBo|MegaIndex|UCBrowser|Mb2345Browser|MicroMessenger|LieBaoFast|Headless|netEstate|newspaper|Adsbot/3.1|WordPress/|ltx71) ) {
    return 403;
  }


nginx재시작해줍니다.

debian ex) # /etc/init.d/nginx restart


curl를 사용하여 해당봇의 응답을 확인하는 명령어

#  curl -l --User-Agent "Mozilla/5.0 (compatible; SemrushBot; +http://www.semrush.com/bot.html)" https://macsplex.com


<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.10.3</center>
</body>
</html>



403 Forbidden 나오면 차단된걸로 확인하면 됩니다.




TAG •

Who's DNAVI

profile

안녕하세요 macsplex.com 웹마스터 DNAVI입니다.

컴퓨터에서 돌아가는 OS와 소프트웨어를 설치하고 운영하는데 관심이 많습니다.


PC  :

homebuilt computer(Intel i7-4790K, ASUS MAXIMUS Ranger Vii, AMD Radeon R290),

homebuilt computer(AMD Phenom X4 630, GIGABYTE GA-61P-S3, NVIDIA GT8600),

Apple iMac 2009 late(Intel E7600)

Apple MacMini 2018(Intel i5-8500B, A1993)

homebuilt computer(AMD Ryzen 3200G, Asrock B450 Steel Legend)


Notebook :

Lenovo Thinkpad T420s(Intel i5-2540M)

Apple Macbook Air 2011 Mid(11inch, i5-2467M A1370)


Server :

Dell PowerEdge R420(Intel XEON E5-2407)

Dell PowerEdge R710

HP Proliant Microserver Gen8(Intel XEON E3-1230V2)


NAS : Synology.DS218+, BUFFALO LinkStation Live LS-XL/E


Smartphone:

Apple iPhone 12

Samsung Galaxy S8

Xiaomi Redmi Note 4, Mi 8

Lenovo Phab2 Pro

Apple iPhone 5

Huawei X3, Nova Smart

Blackberry 9790


Tablet :

Apple iPad Air2

Samsung Galaxy Tab S7+


Game Console :

Sony PSP, PS3, PS4 Pro

Microsoft Xbox 360, Xbox One X

Nintendo DS Lite, 3DS XL, Switch Lite,

HardKernel Odrid Go Advance Black Edition

Gamepark GP2X-F100


XE Login