Nginx 限制百度等爬蟲連接

yearsj 發(fā)布于2019-07-25 13:40 / 1027人閱讀

摘要：目的每?jī)擅朐试S個(gè)來自頭包含等的爬蟲類請(qǐng)求測(cè)試官方文檔中文相關(guān)解釋

目的: 每?jī)擅朐试S1個(gè)來自header頭包含Baiduspider等的爬蟲類請(qǐng)求

http {

map $http_user_agent $is_limited_bot {
    "~Baiduspider" 1;
    "~OtherSpider" 2;
    default "";
}
limit_req_zone  $is_limited_bot zone=botzone:10m   rate=30r/m;

server {
    ...

    location / {
        ...

        limit_req zone=botzone burst=5;
    }
}

}

測(cè)試: curl -I http://example.com -A OtherSpider

Nginx官方文檔:http://nginx.org/en/docs/http/ngx_http_limit_req_module.html
中文相關(guān)解釋:http://storysky.blog.51cto.com/628458/642970/

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/39277.html

相關(guān)文章

網(wǎng)站信息采集

摘要：網(wǎng)站信息采集在編寫爬蟲之前可能需要先了解和搜集網(wǎng)站信息協(xié)議也稱為爬蟲協(xié)議機(jī)器人協(xié)議等的全稱是網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)，網(wǎng)站通過協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。網(wǎng)站信息采集在編寫爬蟲之前可能需要先了解和搜集網(wǎng)站信息 robots.txt Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)（Robots Exclusion Protocol），網(wǎng)站通過...

AZmake 2019-07-30 15:32 評(píng)論0 收藏0
Angular2 網(wǎng)站 SEO 攻略

摘要：使用生成靜態(tài)頁，再配置在爬蟲訪問時(shí)提供靜態(tài)頁中的內(nèi)容。如何在爬蟲訪問時(shí)讓爬蟲獲取到靜態(tài)頁中的內(nèi)容要演練此部分內(nèi)容，首先你要把網(wǎng)站用部署。 Angular 的優(yōu)點(diǎn)有很多，但如果用它來開發(fā)網(wǎng)站的話，就不得不面對(duì)它的兩大缺點(diǎn)：首頁加載慢搜索引擎的爬蟲獲取不到頁面內(nèi)容由于 Angular 是通過 js 動(dòng)態(tài)生成 dom 并插入到頁面中，搜索引擎默認(rèn)只能獲得頁面的標(biāo)題。我們可以使用 c...

niuxiaowei111 2019-07-25 14:15 評(píng)論0 收藏0
基于python的百度云網(wǎng)盤資源搜索引擎設(shè)計(jì)架構(gòu)

摘要：大家都知道百度云網(wǎng)盤上有很多分享的資源，包括軟件各類視頻自學(xué)教程電子書甚至各種電影種子應(yīng)有盡有，但百度云卻沒有提供相應(yīng)的搜索功能。于是就嘗試開發(fā)一個(gè)百度云資源的搜索系統(tǒng)。大家都知道百度云網(wǎng)盤上有很多分享的資源，包括軟件、各類視頻自學(xué)教程、電子書、甚至各種電影、BT種子應(yīng)有盡有，但百度云卻沒有提供相應(yīng)的搜索功能。個(gè)人平時(shí)要找一些軟件、美劇覺得非常蛋疼。于是就嘗試開發(fā)一個(gè)百度云資源的搜索...

williamwen1986 2019-07-25 10:23 評(píng)論0 收藏0
18年求職面經(jīng)及總結(jié)

摘要：年求職面經(jīng)及總結(jié)我的求職之路差不多走到盡頭了感覺真是精疲力盡了把這大半年的經(jīng)歷和面試總結(jié)寫下來希望能給和我一樣在求職路上煎熬的人一點(diǎn)幫助先說背景微電子科學(xué)與工程專業(yè)學(xué)過兩門和相關(guān)的課程語言和單片機(jī)這個(gè)專業(yè)的唯一好處就是大部分人并不知道這個(gè)專 18年求職面經(jīng)及總結(jié) 我的求職之路差不多走到盡頭了,感覺真是精疲力盡了.把這大半年的經(jīng)歷和面試總結(jié)寫下來,希望能給和我一樣在求職路上煎熬的人一點(diǎn)幫...

zhangwang 2019-08-22 11:07 評(píng)論0 收藏0
18年求職面經(jīng)及總結(jié)

摘要：年求職面經(jīng)及總結(jié)我的求職之路差不多走到盡頭了感覺真是精疲力盡了把這大半年的經(jīng)歷和面試總結(jié)寫下來希望能給和我一樣在求職路上煎熬的人一點(diǎn)幫助先說背景微電子科學(xué)與工程專業(yè)學(xué)過兩門和相關(guān)的課程語言和單片機(jī)這個(gè)專業(yè)的唯一好處就是大部分人并不知道這個(gè)專 18年求職面經(jīng)及總結(jié) 我的求職之路差不多走到盡頭了,感覺真是精疲力盡了.把這大半年的經(jīng)歷和面試總結(jié)寫下來,希望能給和我一樣在求職路上煎熬的人一點(diǎn)幫...

fjcgreat 2019-08-01 17:38 評(píng)論0 收藏0