摘要：協(xié)議的講解本文章屬于爬蟲入門到精通系統(tǒng)教程第三講什么是協(xié)議引用自維基百科超文本傳輸協(xié)議英文，縮寫是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議。通過或者協(xié)議請求的資源由統(tǒng)一資源標(biāo)識符，來標(biāo)識。假定其下層協(xié)議提供可靠的傳輸。

本文章屬于爬蟲入門到精通系統(tǒng)教程第三講

引用自維基百科

超文本傳輸協(xié)議（英文：HyperText Transfer Protocol，縮寫：HTTP）是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議。設(shè)計HTTP最初的目的是為了提供一種發(fā)布和接收HTML頁面的方法。通過HTTP或者HTTPS協(xié)議請求的資源由統(tǒng)一資源標(biāo)識符（Uniform Resource Identifiers，URI）來標(biāo)識。
HTTP的發(fā)展是由蒂姆·伯納斯-李于1989年在歐洲核子研究組織（CERN）所發(fā)起。由萬維網(wǎng)協(xié)會（World Wide Web Consortium，W3C）和互聯(lián)網(wǎng)工程任務(wù)組（Internet Engineering Task Force，IETF）制定標(biāo)準(zhǔn)，最終發(fā)布了一系列的RFC，其中最著名的是1999年6月公布的 RFC 2616，定義了HTTP協(xié)議中現(xiàn)今廣泛使用的一個版本——HTTP 1.1。
2014年12月，互聯(lián)網(wǎng)工程任務(wù)組（IETF）的Hypertext Transfer Protocol Bis（httpbis）工作小組將HTTP/2標(biāo)準(zhǔn)提議遞交至IESG進(jìn)行討論[1]，于2015年2月17日被批準(zhǔn)。[2] HTTP/2標(biāo)準(zhǔn)于2015年5月以RFC 7540正式發(fā)表，替換HTTP 1.1成為HTTP的實現(xiàn)標(biāo)準(zhǔn)。[3]
HTTP是一個客戶端終端（用戶）和服務(wù)器端（網(wǎng)站）請求和應(yīng)答的標(biāo)準(zhǔn)（TCP）。通過使用網(wǎng)頁瀏覽器、網(wǎng)絡(luò)爬蟲或者其它的工具，客戶端發(fā)起一個HTTP請求到服務(wù)器上指定端口（默認(rèn)端口為80）。我們稱這個客戶端為用戶代理程序（user agent）。應(yīng)答的服務(wù)器上存儲著一些資源，比如HTML文件和圖像。我們稱這個應(yīng)答服務(wù)器為源服務(wù)器（origin server）。在用戶代理和源服務(wù)器中間可能存在多個“中間層”，比如代理服務(wù)器、網(wǎng)關(guān)或者隧道（tunnel）。
盡管TCP/IP協(xié)議是互聯(lián)網(wǎng)上最流行的應(yīng)用，HTTP協(xié)議中，并沒有規(guī)定必須使用它或它支持的層。事實上，HTTP可以在任何互聯(lián)網(wǎng)協(xié)議上，或其他網(wǎng)絡(luò)上實現(xiàn)。HTTP假定其下層協(xié)議提供可靠的傳輸。因此，任何能夠提供這種保證的協(xié)議都可以被其使用。因此也就是其在TCP/IP協(xié)議族使用TCP作為其傳輸層。
通常，由HTTP客戶端發(fā)起一個請求，創(chuàng)建一個到服務(wù)器指定端口（默認(rèn)是80端口）的TCP連接。HTTP服務(wù)器則在那個端口監(jiān)聽客戶端的請求。一旦收到請求，服務(wù)器會向客戶端返回一個狀態(tài)，比如"HTTP/1.1 200 OK"，以及返回的內(nèi)容，如請求的文件、錯誤消息、或者其它信息。

打開爬蟲從入門到精通系統(tǒng)教程---目錄 這個網(wǎng)頁

按鍵盤上的F12（開發(fā)者工具）

點擊鍵盤上的F5刷新下網(wǎng)頁

點擊Network

點擊Doc

應(yīng)該會看到如下界面

然后我們點擊25296437

應(yīng)該會看到如下界面

Request URL:https://zhuanlan.zhihu.com/p/25296437 （爬蟲會用到）

這個對應(yīng)HTTP協(xié)議中的統(tǒng)一資源定位符也就是我們打開的網(wǎng)址

Request Method:GET（爬蟲會用到）

這個對應(yīng)HTTP協(xié)議中的請求方法,我們這次用的是GET

請求方法有以下這些，常用的是GET,POST

GET：向指定的資源發(fā)出“顯示”請求。使用GET方法應(yīng)該只用在讀取數(shù)據(jù)，而不應(yīng)當(dāng)被用于產(chǎn)生“副作用”的操作中，例如在Web Application中。其中一個原因是GET可能會被網(wǎng)絡(luò)蜘蛛等隨意訪問。參見安全方法

POST：向指定資源提交數(shù)據(jù)，請求服務(wù)器進(jìn)行處理（例如提交表單或者上傳文件）。數(shù)據(jù)被包含在請求本文中。這個請求可能會創(chuàng)建新的資源或修改現(xiàn)有資源，或二者皆有。

OPTIONS：這個方法可使服務(wù)器傳回該資源所支持的所有HTTP請求方法。用"*"來代替資源名稱，向Web服務(wù)器發(fā)送OPTIONS請求，可以測試服務(wù)器功能是否正常運作。

HEAD：與GET方法一樣，都是向服務(wù)器發(fā)出指定資源的請求。只不過服務(wù)器將不傳回資源的本文部分。它的好處在于，使用這個方法可以在不必傳輸全部內(nèi)容的情況下，就可以獲取其中“關(guān)于該資源的信息”（元信息或稱元數(shù)據(jù)）。

PUT：向指定資源位置上傳其最新內(nèi)容。

DELETE：請求服務(wù)器刪除Request-URI所標(biāo)識的資源。

TRACE：回顯服務(wù)器收到的請求，主要用于測試或診斷。

CONNECT：HTTP/1.1協(xié)議中預(yù)留給能夠?qū)⑦B接改為管道方式的代理服務(wù)器。通常用于SSL加密服務(wù)器的鏈接（經(jīng)由非加密的HTTP代理服務(wù)器）。

Status Code:200 OK（爬蟲會用到）

這個對應(yīng)HTTP協(xié)議中的狀態(tài)碼,我們這次返回的是200 OK、

所有HTTP響應(yīng)的第一行都是狀態(tài)行，依次是當(dāng)前HTTP版本號，3位數(shù)字組成的狀態(tài)代碼，以及描述狀態(tài)的短語，彼此由空格分隔。

狀態(tài)代碼的第一個數(shù)字代表當(dāng)前響應(yīng)的類型：

1xx消息——請求已被服務(wù)器接收，繼續(xù)處理

2xx成功——請求已成功被服務(wù)器接收、理解、并接受

3xx重定向——需要后續(xù)操作才能完成這一請求

4xx請求錯誤——請求含有詞法錯誤或者無法被執(zhí)行

5xx服務(wù)器錯誤——服務(wù)器在處理某個正確請求時發(fā)生錯誤

常見狀態(tài)代碼、狀態(tài)描述、說明：

200 OK //請求成功

400 Bad Request //客戶端請求有語法錯誤，不能被服務(wù)器所理解

401 Unauthorized //請求未經(jīng)授權(quán)，這個狀態(tài)代碼必須和WWW-Authenticate報頭域一起使用

403 Forbidden //服務(wù)器收到請求，但是拒絕提供服務(wù)

404 Not Found //請求資源不存在，eg：輸入了錯誤的URL

500 Internal Server Error //服務(wù)器發(fā)生不可預(yù)期的錯誤

503 Server Unavailable //服務(wù)器當(dāng)前不能處理客戶端的請求，一段時間后可能恢復(fù)正常

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8（爬蟲會用到）

Accept請求報頭域用于指定客戶端接受哪些類型的信息。eg：Accept：image/gif，表明客戶端希望接受GIF圖象格式的資源；Accept：text/html，表明客戶端希望接受html文本。

Accept-Encoding:gzip, deflate, sdch, br

Accept-Encoding請求報頭域類似于Accept，但是它是用于指定可接受的內(nèi)容編碼。eg：Accept-Encoding:gzip.deflate.如果請求消息中沒有設(shè)置這個域服務(wù)器假定客戶端對各種內(nèi)容編碼都可以接受。

Accept-Language:zh-CN,zh;q=0.8

Accept-Language請求報頭域類似于Accept，但是它是用于指定一種自然語言。eg：Accept-Language:zh-cn.如果請求消息中沒有設(shè)置這個報頭域，服務(wù)器假定客戶端對各種語言都可以接受

Cache-Control:no-cache

Cache-Control 是用來控制網(wǎng)頁的緩存，詳細(xì)可以Cache-control_百度百科

Connection:keep-alive

HTTP持久連接（HTTP persistent connection，也稱作HTTP keep-alive或HTTP connection reuse）是使用同一個TCP連接來發(fā)送和接收多個HTTP請求/應(yīng)答，而不是為每一個新的請求/應(yīng)答打開新的連接的方法。

詳情介紹請參考HTTP持久連接

Cookie:d_c0="AACAWNtZswqPTnJ8dFXqaygiq82ekPD5_-xxxx（爬蟲會用到）

Cookie（復(fù)數(shù)形態(tài)Cookies），中文名稱為“小型文本文件”或“小甜餅”[1]，指某些網(wǎng)站為了辨別用戶身份而儲存在用戶本地終端（Client Side）上的數(shù)據(jù)（通常經(jīng)過加密）。定義于RFC2109。是網(wǎng)景公司的前雇員盧·蒙特利在1993年3月的發(fā)明[2]。詳情介紹請參考Cookie

舉個例子，當(dāng)我登錄知乎后，知乎會給我一個cookie，然后我在以后的一段時間內(nèi)，每次打開知乎，都不需要重新登錄。這是因為瀏覽器每次都會把我之前存儲的cookie帶上。

Host:zhuanlan.zhihu.com

當(dāng)前請求網(wǎng)址的請求域

User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36（爬蟲會用到）

用戶是通過什么工具來請求的，（因為我用的Google瀏覽器，所以顯示的是Chrome）

Referer:https://www.zhihu.com/people/pa-chong-21/activities（爬蟲會用到）

是通過哪個頁面到當(dāng)前頁面的（也就是上一個頁面是什么？當(dāng)前截圖里面沒有）

舉個例子，當(dāng)我是通過百度搜索頁面點到當(dāng)前頁面的，那么Referer就是百度搜索頁

If-Modified-Since:Wed, 15 Feb 2017 09:14:13 GMT
If-None-Match:W/"58a41be5-190aa"
Last-Modified:Wed, 15 Feb 2017 09:14:13 GMT
ETag:"58a41be5-190aa"

這4個一般靜態(tài)頁面會用到 If-Modified-Since,If-None-Match
這兩個是請求頭，ETag,Last-Modified是返回頭（服務(wù)器返回的）

如果If-Modified-Since的值和Last-Modified相等 則表明當(dāng)前請求的內(nèi)容沒有變動，服務(wù)器返回 Status Code:304 Not Modified
If-None-Match和ETag 同理

看完本篇文章后，你應(yīng)該要

大概了解什么是HTTP協(xié)議

HTTP常見請求方法有哪幾種？

HTTP常見狀態(tài)碼有哪些？

HTTP請求頭中，大概了解Accept,Cookie,User-Agent,Referer是干啥的？

最后的最后，收藏的大哥們，能幫忙點個贊么~