資訊專欄INFORMATION COLUMN
摘要：上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)使用分析協(xié)議下一篇文章在前面一節(jié)我們了解了的基本用法，但是其中確實有不方便的地方。發(fā)送之后，得到的自然就是，在上面的實例中我們使用了和獲取了內(nèi)容，不過還有很多屬性和方法可以獲取其他的信息，比如狀態(tài)碼等信息。
上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---23、使用Urllib：分析Robots協(xié)議
下一篇文章：
在前面一節(jié)我們了解了 Urllib 的基本用法，但是其中確實有不方便的地方。比如處理網(wǎng)頁驗證、處理 Cookies 等等，需要寫 Opener、Handler 來進(jìn)行處理。為了更加方便地實現(xiàn)這些操作，在這里就有了更為強(qiáng)大的庫 Requests，有了它，Cookies、登錄驗證、代理設(shè)置等等的操作都不是事兒。
那么接下來就讓我們來領(lǐng)略一下它的強(qiáng)大之處吧。
1 基本使用本節(jié)我們首先來了解下 Requests 庫的基本使用方法。
1. 準(zhǔn)備工作在本節(jié)開始之前請確保已經(jīng)正確安裝好了 Requests 庫，如果沒有安裝可以參考第一章的安裝說明。
2. 實例引入在 Urllib 庫中有 urlopen() 的方法，實際上它是以 GET 方式請求了一個網(wǎng)頁。
那么在 Requests 中，相應(yīng)的方法就是 get() 方法，是不是感覺表達(dá)更明確一些？
下面我們用一個實例來感受一下：
import requests
r=requests.get("http://httpbin.org/get")
print(type(r),r.status_code,type(r.text),r.text,type(r.cookies),r.cookies,sep="
")
運行結(jié)果如下：
200 { "args": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Host": "httpbin.org", "User-Agent": "python-requests/2.21.0" }, "origin": "114.253.118.8, 114.253.118.8", "url": "https://httpbin.org/get" }
上面的例子中我們調(diào)用 get() 方法即可實現(xiàn)和 urlopen() 相同的操作，得到一個 Response 對象，然后分別輸出了 Response 的類型，Status Code，Response Body 的類型、內(nèi)容還有 Cookies。
通過上述實例可以發(fā)現(xiàn)，它的返回類型是 requests.models.Response，Response Body 的類型是字符串 str，Cookies 的類型是 RequestsCookieJar。
使用了 get() 方法就成功實現(xiàn)了一個 GET 請求，但這倒不算什么，更方便的在于其他的請求類型依然可以用一句話來完成。
用一個實例來感受一下：
r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")
r = requests.options("http://httpbin.org/get")
在這里分別用 post()、put()、delete() 等方法實現(xiàn)了 POST、PUT、DELETE 等請求，怎么樣？是不是比 Urllib 簡單太多了？
其實這只是冰山一角，更多的還在后面。
HTTP 中最常見的請求之一就是 GET 請求，我們首先來詳細(xì)了解下利用 Requests 來構(gòu)建 GET 請求的方法以及相關(guān)屬性方法操作。
基本實例首先讓我們來構(gòu)建一個最簡單的 GET 請求，請求的鏈接為：http://httpbin.org/get，它會判斷如果如果是 GET 請求的話，會返回響應(yīng)的 Request 信息。
import requests
r = requests.get("http://httpbin.org/get")
print(r.text)
運行結(jié)果如下：
{
? "args": {},
? "headers": {
??? "Accept": "*/*",
??? "Accept-Encoding": "gzip, deflate",
??? "Host": "httpbin.org",
??? "User-Agent": "python-requests/2.10.0"
? },
? "origin": "122.4.215.33",
? "url": "http://httpbin.org/get"
}
可以發(fā)現(xiàn)我們成功發(fā)起了 GET 請求，返回的結(jié)果中包含了 Request Headers、URL、IP 等信息。
那么 GET 請求，如果要附加額外的信息一般是怎樣來添加？比如現(xiàn)在我想添加兩個參數(shù)，名字 name 是 germey，年齡 age 是 22。構(gòu)造這個請求鏈接是不是我們要直接寫成：
r = requests.get("http://httpbin.org/get?name=g...;age=22")
可以是可以，但是不覺得很不人性化嗎？一般的這種信息數(shù)據(jù)我們會用字典來存儲，那么怎樣來構(gòu)造這個鏈接呢？
同樣很簡單，利用 params 這個參數(shù)就好了。
實例如下：
import requests
data = {
??? "name": "germey",
??? "age": 22
}
r = requests.get("http://httpbin.org/get", params=data)
print(r.text)
運行結(jié)果如下：
{
? "args": {
??? "age": "22",
??? "name": "germey"
? },
? "headers": {
??? "Accept": "*/*",
??? "Accept-Encoding": "gzip, deflate",
??? "Host": "httpbin.org",
??? "User-Agent": "python-requests/2.10.0"
? },
? "origin": "122.4.215.33",
? "url": "http://httpbin.org/get?age=22&name=germey"
}
通過返回信息我們可以判斷，請求的鏈接自動被構(gòu)造成了：http://httpbin.org/get?age=22...;name=germey。
另外，網(wǎng)頁的返回類型實際上是 str 類型，但是它很特殊，是 Json 的格式，所以如果我們想直接把返回結(jié)果解析，得到一個字典格式的話，可以直接調(diào)用 json() 方法。
用一個實例來感受一下：
import requests
r = requests.get("http://httpbin.org/get")
print(type(r.text))
print(r.json())
print(type(r.json()))
運行結(jié)果如下：
{"headers": {"Accept-Encoding": "gzip, deflate", "Accept": "/", "Host": "httpbin.org", "User-Agent": "python-requests/2.10.0"}, "url": "http://httpbin.org/get", "args": {}, "origin": "182.33.248.131"}
可以發(fā)現(xiàn)，調(diào)用 json() 方法，就可以將返回結(jié)果是 Json 格式的字符串轉(zhuǎn)化為字典。
但注意，如果返回結(jié)果不是 Json 格式，便會出現(xiàn)解析錯誤，拋出 json.decoder.JSONDecodeError 的異常。
如上的請求鏈接返回的是 Json 形式的字符串，那么如果我們請求普通的網(wǎng)頁，那么肯定就能獲得相應(yīng)的內(nèi)容了。
下面我們以知乎－發(fā)現(xiàn)頁面為例來感受一下：
import requests
import re
headers = {
??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
}
r = requests.get("https://www.zhihu.com/explore", headers=headers)
pattern = re.compile("explore-feed.*?question_link.*?>(.*?)", re.S)
titles = re.findall(pattern, r.text)
print(titles)
如上代碼，我們請求了知乎－發(fā)現(xiàn)頁面：https://www.zhihu.com/explore，在這里加入了 Headers 信息，其中包含了 User-Agent 字段信息，也就是瀏覽器標(biāo)識信息。如果不加這個，知乎會禁止抓取。
在接下來用到了最基礎(chǔ)的正則表達(dá)式，來匹配出所有的問題內(nèi)容，關(guān)于正則表達(dá)式會在后面的章節(jié)中詳細(xì)介紹，在這里作為用到實例來配合講解。
運行結(jié)果如下：
[" 如何評價楊超越對偶像意義的理解？ ", " 中國綠發(fā)會宣稱「穿山甲功能性滅絕」，引發(fā)學(xué)者質(zhì)疑后反控對方誹謗，應(yīng)該相信哪邊？ ", " 如何科學(xué)地解釋MacBook Pro 2019的CPU性能表現(xiàn)接近甚至超過ROG玩家國度槍神3？ ", " 如何評價楊超越對偶像意義的理解？ ", " 盛京劍客為啥退出知乎了？ ", " 怎么看我國跆拳道選手鄭姝音被判負(fù)后眾人不滿，我國參加類似比賽還有必要么？ ", " 你為什么這么不愿意《極限挑戰(zhàn)》換人？ ", " 「吉卜力工作室」是一家怎樣的動畫制作公司？ ", " 你為什么不喜歡張雪迎？ ", " 《王者榮耀》中，你遇到哪些有意思的隊友？ "]
發(fā)現(xiàn)成功提取出了所有的問題內(nèi)容。
抓取二進(jìn)制數(shù)據(jù)在上面的例子中，我們抓取的是知乎的一個頁面，實際上它返回的是一個 HTML 文檔，那么如果我們想抓去圖片、音頻、視頻等文件的話應(yīng)該怎么辦呢？
我們都知道，圖片、音頻、視頻這些文件都是本質(zhì)上由二進(jìn)制碼組成的，由于有特定的保存格式和對應(yīng)的解析方式，我們才可以看到這些形形色色的多媒體。所以想要抓取他們，那就需要拿到他們的二進(jìn)制碼。
下面我們以 GitHub 的站點圖標(biāo)為例來感受一下：
import requests
r = requests.get("https://github.com/favicon.ico")
print(r.text)
print(r.content)
抓取的內(nèi)容是站點圖標(biāo)，也就是在瀏覽器每一個標(biāo)簽上顯示的小圖標(biāo)，如圖 3-3 所示：
圖 3-3 站點圖標(biāo)
在這里打印了 Response 對象的兩個屬性，一個是text，另一個是 content。
運行結(jié)果如下，由于包含特殊內(nèi)容，在此放運行結(jié)果的圖片，如圖 3-4 所示：
圖 3-4 運行結(jié)果
那么前兩行便是 r.text 的結(jié)果，最后一行是 r.content 的結(jié)果。
可以注意到，前者出現(xiàn)了亂碼，后者結(jié)果前面帶有一個 b，代表這是 bytes 類型的數(shù)據(jù)。由于圖片是二進(jìn)制數(shù)據(jù)，所以前者在打印時轉(zhuǎn)化為 str 類型，也就是圖片直接轉(zhuǎn)化為字符串，理所當(dāng)然會出現(xiàn)亂碼。
兩個屬性有什么區(qū)別？前者返回的是字符串類型，如果返回結(jié)果是文本文件，那么用這種方式直接獲取其內(nèi)容即可。如果返回結(jié)果是圖片、音頻、視頻等文件，Requests 會為我們自動解碼成 bytes 類型，即獲取字節(jié)流數(shù)據(jù)。
進(jìn)一步地，我們可以將剛才提取到的圖片保存下來。
import requests
r = requests.get("https://github.com/favicon.ico")
with open("favicon.ico", "wb") as f:
??? f.write(r.content)
在這里用了 open() 方法，第一個參數(shù)是文件名稱，第二個參數(shù)代表以二進(jìn)制寫的形式打開，可以向文件里寫入二進(jìn)制數(shù)據(jù)，然后保存。
運行結(jié)束之后，可以發(fā)現(xiàn)在文件夾中出現(xiàn)了名為 favicon.ico 的圖標(biāo)，如圖 3-5所示：
圖 3-5 圖標(biāo)
同樣的，音頻、視頻文件也可以用這種方法獲取。
如 urllib.request 一樣，我們也可以通過 headers 參數(shù)來傳遞頭信息。
比如上面的知乎的例子，如果不傳遞 Headers，就不能正常請求：
import requests
r = requests.get("https://www.zhihu.com/explore")
print(r.text)
運行結(jié)果如下：
400 Bad Request 400 Bad Request
openresty
但如果加上 Headers 中加上 User-Agent 信息，那就沒問題了：
import requests
headers = {
??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
}
r = requests.get("https://www.zhihu.com/explore", headers=headers)
print(r.text)
當(dāng)然我們可以在 headers 這個參數(shù)中任意添加其他的字段信息。
4. POST請求在前面我們了解了最基本的 GET 請求，另外一種比較常見的請求方式就是 POST 了，就像模擬表單提交一樣，將一些數(shù)據(jù)提交到某個鏈接。
使用 Request 是實現(xiàn) POST 請求同樣非常簡單。
我們先用一個實例來感受一下：
import requests
data = {"name": "germey", "age": "22"}
r = requests.post("http://httpbin.org/post", data=data)
print(r.text)
這里我們還是請求：http://httpbin.org/post，它可以判斷如果請求是 POST 方式，就把相關(guān)請求信息輸出出來。
運行結(jié)果如下：
{
? "args": {},
? "data": "",
? "files": {},
? "form": {
??? "age": "22",
??? "name": "germey"
? },
? "headers": {
??? "Accept": "*/*",
??? "Accept-Encoding": "gzip, deflate",
??? "Content-Length": "18",
??? "Content-Type": "application/x-www-form-urlencoded",
??? "Host": "httpbin.org",
??? "User-Agent": "python-requests/2.10.0"
? },
? "json": null,
? "origin": "182.33.248.131",
? "url": "http://httpbin.org/post"
}
可以發(fā)現(xiàn)，成功獲得了返回結(jié)果，返回結(jié)果中的 form 部分就是提交的數(shù)據(jù)，那么這就證明 POST 請求成功發(fā)送了。
5. Response發(fā)送 Request 之后，得到的自然就是 Response，在上面的實例中我們使用了 text 和 content 獲取了 Response 內(nèi)容，不過還有很多屬性和方法可以獲取其他的信息，比如狀態(tài)碼 Status Code、Headers、Cookies 等信息。
下面用一個實例來感受一下：
import requests
r = requests.get("http://www.baidu.com")
print(type(r.status_code), r.status_code)
print(type(r.headers), r.headers)
print(type(r.cookies), r.cookies)
print(type(r.url), r.url)
print(type(r.history), r.history)
在這里分別打印輸出了 status_code 屬性得到狀態(tài)碼， headers 屬性得到 Response Headers，cookies 屬性得到 Cookies，url 屬性得到 URL，history 屬性得到請求歷史。
運行結(jié)果如下：
