如何在nginx中限制惡意網(wǎng)絡(luò)爬蟲抓取內(nèi)容呢？也就是限制下惡意爬蟲的抓取頻率。下面來一起看看。
今天在微博發(fā)現(xiàn)@金榮葉 的處理方法很靈活，可以動態(tài)設(shè)定一個爬蟲的頻率，達(dá)到減輕服務(wù)器負(fù)載，并且不至于封殺爬蟲。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
#全局配置limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;#某個server中limit_req zone=anti_spider burst=30 nodelay;if ($http_user_agent ~* “xxspider|xxbot”) {set $anti_spider $http_user_agent;} |
超過設(shè)置的限定頻率，就會給spider一個503。
總結(jié)
以上就是nginx修改配置限制惡意爬蟲頻率的全部內(nèi)容，希望對大家的工作和學(xué)習(xí)能有所幫助，如果有疑問可以留言交流。
