資訊專欄INFORMATION COLUMN
摘要：比如我們可以設(shè)置這就代表我們設(shè)置的規(guī)則對百度爬蟲是有效的。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)使用解析鏈接下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)基本使用
上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---22、使用Urllib：解析鏈接
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---24、requests：基本使用
利用 Urllib 的 robotparser 模塊我們可以實(shí)現(xiàn)網(wǎng)站 Robots 協(xié)議的分析，本節(jié)我們來簡單了解一下它的用法。
1. Robots協(xié)議Robots 協(xié)議也被稱作爬蟲協(xié)議、機(jī)器人協(xié)議，它的全名叫做網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)（Robots Exclusion Protocol），用來告訴爬蟲和搜索引擎哪些頁面可以抓取，哪些不可以抓取。它通常是一個叫做 robots.txt 的文本文件，放在網(wǎng)站的根目錄下。
當(dāng)搜索爬蟲訪問一個站點(diǎn)時，它首先會檢查下這個站點(diǎn)根目錄下是否存在 robots.txt 文件，如果存在，搜索爬蟲會根據(jù)其中定義的爬取范圍來爬取。如果沒有找到這個文件，那么搜索爬蟲便會訪問所有可直接訪問的頁面。
下面我們看一個 robots.txt 的樣例：
User-agent: * Disallow: / Allow: /public/
以上的兩行實(shí)現(xiàn)了對所有搜索爬蟲只允許爬取 public目錄的作用。
如上簡單的兩行，保存成 robots.txt 文件，放在網(wǎng)站的根目錄下，和網(wǎng)站的入口文件放在一起。比如 index.php、index.html、index.jsp 等等。
那么上面的 User-agent 就描述了搜索爬蟲的名稱，在這里將值設(shè)置為 *，則代表該協(xié)議對任何的爬取爬蟲有效。比如我們可以設(shè)置：
User-agent: Baiduspider
這就代表我們設(shè)置的規(guī)則對百度爬蟲是有效的。如果有多條 User-agent 記錄，則就會有多個爬蟲會受到爬取限制，但至少需要指定一條。
Disallow 指定了不允許抓取的目錄，比如上述例子中設(shè)置為/則代表不允許抓取所有頁面。
Allow 一般和 Disallow 一起使用，一般不會多帶帶使用，用來排除某些限制，現(xiàn)在我們設(shè)置為 /public/ ，起到的作用是所有頁面不允許抓取，但是 public 目錄是可以抓取的。
下面我們再來看幾個例子感受一下：
禁止所有爬蟲訪問任何目錄
User-agent: * Disallow: /
允許所有爬蟲訪問任何目錄
User-agent: * Disallow:
或者直接把 robots.txt 文件留空也是可以的。
禁止所有爬蟲訪問網(wǎng)站某些目錄
User-agent: * Disallow: /private/ Disallow: /tmp/
只允許某一個爬蟲訪問
User-agent: WebCrawler Disallow: User-agent: * Disallow: /
以上是 robots.txt 的一些常見寫法。
2. 爬蟲名稱大家可能會疑惑，爬蟲名是哪兒來的？為什么就叫這個名？其實(shí)它是有固定名字的了，比如百度的就叫做 BaiduSpider，下面的表格列出了一些常見的搜索爬蟲的名稱及對應(yīng)的網(wǎng)站：
| 爬蟲名稱 | 名稱 | 網(wǎng)站 |
|---|---|---|
| BaiduSpider | 百度 | www.baidu.com |
| Googlebot | 谷歌 | www.google.com |
| 360Spider | 360搜索 | www.so.com |
| YodaoBot | 有道 | www.youdao.com |
| ia_archiver | Alexa | www.alexa.cn |
| Scooter | altavista | www.altavista.com |
了解了什么是 Robots 協(xié)議之后，我們就可以使用 robotparser 模塊來解析 robots.txt 了。
robotparser 模塊提供了一個類，叫做 RobotFileParser。它可以根據(jù)某網(wǎng)站的 robots.txt 文件來判斷一個爬取爬蟲是否有權(quán)限來爬取這個網(wǎng)頁。
使用非常簡單，首先看一下它的聲明
urllib.robotparser.RobotFileParser(url="")
使用這個類的時候非常簡單，只需要在構(gòu)造方法里傳入 robots.txt的鏈接即可。當(dāng)然也可以聲明時不傳入，默認(rèn)為空，再使用 set_url() 方法設(shè)置一下也可以。
有常用的幾個方法分別介紹一下：
set_url()，用來設(shè)置 robots.txt 文件的鏈接。如果已經(jīng)在創(chuàng)建 RobotFileParser 對象時傳入了鏈接，那就不需要再使用這個方法設(shè)置了。
read()，讀取 robots.txt 文件并進(jìn)行分析，注意這個函數(shù)是執(zhí)行一個讀取和分析操作，如果不調(diào)用這個方法，接下來的判斷都會為 False，所以一定記得調(diào)用這個方法，這個方法不會返回任何內(nèi)容，但是執(zhí)行了讀取操作。
parse()，用來解析 robots.txt 文件，傳入的參數(shù)是 robots.txt 某些行的內(nèi)容，它會按照 robots.txt 的語法規(guī)則來分析這些內(nèi)容。
can_fetch()，方法傳入兩個參數(shù)，第一個是 User-agent，第二個是要抓取的 URL，返回的內(nèi)容是該搜索引擎是否可以抓取這個 URL，返回結(jié)果是 True 或 False。
mtime()，返回的是上次抓取和分析 robots.txt 的時間，這個對于長時間分析和抓取的搜索爬蟲是很有必要的，你可能需要定期檢查來抓取最新的 robots.txt。
modified()，同樣的對于長時間分析和抓取的搜索爬蟲很有幫助，將當(dāng)前時間設(shè)置為上次抓取和分析 robots.txt 的時間。
以上是這個類提供的所有方法，下面我們用實(shí)例來感受一下：
from urllib.robotparser import RobotFileParser
rp = RobotFileParser()
rp.set_url("http://www.jianshu.com/robots.txt")
rp.read()
print(rp.can_fetch("*", "http://www.jianshu.com/p/b67554025d7d"))
print(rp.can_fetch("*", "http://www.jianshu.com/search?q=python&page=1&type=collections"))
以簡書為例，我們首先創(chuàng)建 RobotFileParser 對象，然后通過 set_url() 方法來設(shè)置了 robots.txt 的鏈接。當(dāng)然不用這個方法的話，可以在聲明時直接用如下方法設(shè)置：
rp = RobotFileParser("http://www.jianshu.com/robots.txt")
下一步利用了 can_fetch() 方法來判斷了網(wǎng)頁是否可以被抓取。
運(yùn)行結(jié)果：
True False
同樣也可以使用 parser() 方法執(zhí)行讀取和分析。
用一個實(shí)例感受一下：
from urllib.robotparser import RobotFileParser
from urllib.request import urlopen
rp = RobotFileParser()
rp.parse(urlopen("http://www.jianshu.com/robots.txt").read().decode("utf-8").split("
"))
print(rp.can_fetch("*", "http://www.jianshu.com/p/b67554025d7d"))
print(rp.can_fetch("*", "http://www.jianshu.com/search?q=python&page=1&type=collections"))
運(yùn)行結(jié)果一樣：
True False4. 結(jié)語
以上介紹了 robotparser 模塊的基本用法和實(shí)例講解，利用它我們就可以方便地判斷哪些頁面可以抓取哪些不可以了。
上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---22、使用Urllib：解析鏈接
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---24、requests：基本使用
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/44070.html
摘要：上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)使用處理異常下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)使用分析協(xié)議庫里還提供了這個模塊，它定義了處理的標(biāo)準(zhǔn)接口，例如實(shí)現(xiàn)各部分的抽取，合并以及鏈接轉(zhuǎn)換。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)使用處理異常下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)使用分析協(xié)議 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---21、使用Urllib：處理異常下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---23、使用Urllib：分析Robots協(xié)議...
摘要：下面我們傳入多個參數(shù)構(gòu)建一個來感受一下在這里我們通過四個參數(shù)構(gòu)造了一個，即請求，在中指定了和，傳遞的參數(shù)用了和方法來轉(zhuǎn)成字節(jié)流，另外指定了請求方式為。運(yùn)行結(jié)果如下通過觀察結(jié)果可以發(fā)現(xiàn)，我們成功設(shè)置了，以及。用于處理重定向。 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---19、代理基本原理下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---21、使用Urllib：處理異常 學(xué)習(xí)爬蟲，最初的操作便...
摘要：所以使用代理隱藏真實(shí)的，讓服務(wù)器誤以為是代理服務(wù)器的在請求自己。參考來源由于涉及到一些專業(yè)名詞知識，本節(jié)的部分內(nèi)容參考來源如下代理服務(wù)器維基百科代理百度百科上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)和下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)使用發(fā)送請求 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---18、Session和Cookies下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---20、使用Urllib：發(fā)送請求 我們在做爬蟲...
摘要：上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)使用分析協(xié)議下一篇文章在前面一節(jié)我們了解了的基本用法，但是其中確實(shí)有不方便的地方。發(fā)送之后，得到的自然就是，在上面的實(shí)例中我們使用了和獲取了內(nèi)容，不過還有很多屬性和方法可以獲取其他的信息，比如狀態(tài)碼等信息。 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---23、使用Urllib：分析Robots協(xié)議下一篇文章： 在前面一節(jié)我們了解了 Urllib 的基本用法，但是其中...
摘要：在前面我們講到了和的概念，我們向網(wǎng)站的服務(wù)器發(fā)送一個，返回的的便是網(wǎng)頁源代碼。渲染頁面有時候我們在用或抓取網(wǎng)頁時，得到的源代碼實(shí)際和瀏覽器中看到的是不一樣的。所以使用基本請求庫得到的結(jié)果源代碼可能跟瀏覽器中的頁面源代碼不太一樣。 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---16、Web網(wǎng)頁基礎(chǔ)下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---18、Session和Cookies 爬蟲，即網(wǎng)...
閱讀 834·2021-10-13 09:39
閱讀 3713·2021-10-12 10:12
閱讀 1763·2021-08-13 15:07
閱讀 1021·2019-08-29 15:31
閱讀 2898·2019-08-26 13:25
閱讀 1789·2019-08-23 18:38
閱讀 1893·2019-08-23 18:25
閱讀 1865·2019-08-23 17:20
