成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

爬蟲入門到精通-headers的詳細講解（模擬登錄知乎）

changfeng1050 / 2708人閱讀

摘要：本文章屬于爬蟲入門到精通系統(tǒng)教程第七講直接開始案例吧。本次我們實現(xiàn)如何模擬登陸知乎。

本文章屬于爬蟲入門到精通系統(tǒng)教程第七講

直接開始案例吧。

本次我們實現(xiàn)如何模擬登陸知乎。

1.抓包

首先打開知乎登錄頁 知乎 - 與世界分享你的知識、經(jīng)驗和見解

注意打開開發(fā)者工具后點擊“preserve log”，密碼記得故意輸入錯誤，然后點擊登錄

我們很簡單的就找到了 我們需要的請求

_xsrf:81aa4a69cd410c3454ce515187f2d4c9
password:***
email:[email protected]

可以看到請求一共有三個參數(shù)

email 和password就是我們需要登錄的賬號及密碼

那么_xsrf是什么？我們在哪能找到？

像“_xsrf”這種參數(shù)，一般叫做頁面校檢碼，是來檢查你是否是從正常的登錄頁面過來的。

那我們復(fù)制這個值，在登錄頁面找找看。

//input[@name="_xsrf"]/@value

所以，本次登錄我們需要得到的數(shù)據(jù)已經(jīng)都得到了

步驟如下：

打開知乎登錄頁面，獲取_xsrf

把_xsrf和自己的賬號及密碼一起發(fā)送（模擬登錄）

2.模擬登錄 
import requests

url = "https://www.zhihu.com/#signin"
z = requests.get(url)
print z.status_code

我們會看到 http狀態(tài)碼為500...

至于為什么會返回500狀態(tài)碼呢？是因為我們用程序來訪問知乎被發(fā)現(xiàn)了...

我們偽裝成瀏覽器，添加一行

可以看到返回正常了，http狀態(tài)碼為200(這就是headers的作用)

那我們現(xiàn)在獲取_xsrf

from lxml import etree
sel = etree.HTML(z1.content)
# 這個xsrf怎么獲取 我們上面有講到
_xsrf = sel.xpath("http://input[@name="_xsrf"]/@value")[0]

然后模擬登錄

loginurl = "https://www.zhihu.com/login/email"
# 這里的_xsrf就是我們剛剛上面得到的
formdata = {
    "email":"[email protected]",
    "password":"你的密碼",
    "_xsrf":_xsrf
}
z2 = requests.post(url=loginurl,data=formdata,headers=headers)
print z2.status_code
 #200
print z2.content
# "{"r":0,
 "msg": "u767bu5f55u6210u529f"
}"
print z2.json()["msg"]
# 登陸成功

可以看到已經(jīng)模擬登錄并成功了。

那我們來打開知乎 - 與世界分享你的知識、經(jīng)驗和見解來檢查下 是否有登錄成功

# 為什么用這個頁面呢？
# 因為這個頁面只有登錄后才能看得到，如果沒有登錄的話 會自動跳轉(zhuǎn)讓你登錄的
mylog = "https://www.zhihu.com/people/pa-chong-21/logs"
z3 = requests.get(url=mylog,headers=headers)
print z3.status_code
#200
print z3.url
# u"https://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogs"

發(fā)現(xiàn)頁面url是 (https://www.zhihu.com/?next=%...

并不是 我前面輸入的 (https://www.zhihu.com/people/...

說明知乎判斷我們沒有登錄，然后把我們跳轉(zhuǎn)到登錄頁面了.

如果感興趣的話，可以把z3.text 的返回值存為123.html，然后打開看看，是不是跳轉(zhuǎn)到登錄頁面了..

那么為什么會跳到登錄頁面呢？剛剛不是已經(jīng)登錄成功了么？

這是因為，我們這幾個模擬請求，相互間都是獨立的，所以z2登錄成功了，和z3并沒有什么關(guān)系。

那如果我現(xiàn)在想要z3不用再模擬登錄一次，也能登錄的話，怎么辦呢？

我們可以把z2登錄成功后得到的cookie給z3,這樣，z3也就能登錄成功了.

用程序?qū)崿F(xiàn)

再次判斷下是否登錄成功。

z3 = requests.get(url=mylog,headers=headers)
print z3.url
# u"https://www.zhihu.com/people/pa-chong-21/logs"

我們可以看到已經(jīng)正常訪問了。說明我們登錄成功了

所以，以后只要你帶著這個cookie，就可以訪問登錄后的頁面了.(這就是cookie的作用..)

最后附上一個小技巧.

當(dāng)你需要登錄，或者說你需要在一段會話中操作（也就是我們上面的操作）

會話對象高級用法 - Requests 2.10.0 文檔


會話對象讓你能夠跨請求保持某些參數(shù)。它也會在同一個 Session 實例發(fā)出的所有請求之間保持 cookie， 期間使用 urllib3 的 connection pooling 功能。所以如果你向同一主機發(fā)送多個請求，底層的 TCP 連接將會被重用，從而帶來顯著的性能提升。 (參見 HTTP persistent connection).

使用會話后，我們上面的代碼可以改成這樣

可以看到我們沒有把cookie傳過去，但是還是登錄成功了，這是因為session會自動幫你處理這些，會自動幫你管理cookie

我們可以打印看下我們請求的headers

可以看到headers里面自動加上了cookie

最后所有的代碼都在kimg1234/pachong

最后再次總結(jié)一下

看完本篇文章后，你應(yīng)該要

能理解User-Agent,cookie的作用

了解requests中的session用法

了解如何模擬登錄一個網(wǎng)頁

如果你對requests這個庫不太熟悉的話，你可以在快速上手 - Requests 2.10.0 文檔瀏覽。

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/38609.html

相關(guān)文章

  • 爬蟲入門到精通-網(wǎng)頁的下載

    摘要：網(wǎng)頁的下載本文章屬于爬蟲入門到精通系統(tǒng)教程第四講在爬蟲入門到精通第二講中，我們了解了協(xié)議，那么我們現(xiàn)在使用這些協(xié)議來快速爬蟲吧本文的目標(biāo)當(dāng)你看完本文后，你應(yīng)該能爬取幾乎任何的網(wǎng)頁使用抓包抓包就是將網(wǎng)絡(luò)傳輸發(fā)送與接收的數(shù)據(jù)包進行截獲重發(fā)編輯轉(zhuǎn) 網(wǎng)頁的下載 本文章屬于爬蟲入門到精通系統(tǒng)教程第四講 在爬蟲入門到精通第二講中，我們了解了HTTP協(xié)議，那么我們現(xiàn)在使用這些協(xié)議來快速爬蟲吧 本文的...

    JerryZou 評論0 收藏0

  • 爬蟲入門到精通-HTTP協(xié)議的講解

    摘要：協(xié)議的講解本文章屬于爬蟲入門到精通系統(tǒng)教程第三講什么是協(xié)議引用自維基百科超文本傳輸協(xié)議英文，縮寫是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議。通過或者協(xié)議請求的資源由統(tǒng)一資源標(biāo)識符，來標(biāo)識。假定其下層協(xié)議提供可靠的傳輸。 HTTP協(xié)議的講解 本文章屬于爬蟲入門到精通系統(tǒng)教程第三講 什么是HTTP協(xié)議？ 引用自維基百科 超文本傳輸協(xié)議（英文：HyperText Transfer Protoco...

    Towers 評論0 收藏0

  • 首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

    摘要：時間永遠都過得那么快，一晃從年注冊，到現(xiàn)在已經(jīng)過去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...

    Harriet666 評論0 收藏0

  • Chrome開發(fā)者工具，爬蟲必備，解決一半的問題

    摘要：但這邊特別提醒的是里看到的代碼不等于請求網(wǎng)址拿到的返回值。這個文件包含了列表中所有請求的各項參數(shù)及返回值信息，以便你查找分析。理解了這幾步，大部分網(wǎng)上的數(shù)據(jù)都可以拿到，說解決一半的問題可不是標(biāo)題黨。 網(wǎng)上爬蟲的教程實在太多了，知乎上搜一下，估計能找到不下一百篇。大家樂此不疲地從互聯(lián)網(wǎng)上抓取著一個又一個網(wǎng)站。但只要對方網(wǎng)站一更新，很可能文章里的方法就不再有效了。 每個網(wǎng)站抓取的代碼各不相...

    jiekechoo 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---25、requests：高級用法

    摘要：比如我們以知乎為例，直接利用來維持登錄狀態(tài)。測試后，發(fā)現(xiàn)同樣可以正常登錄知乎。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)基本使用下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)正則表達式 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---24、requests：基本使用下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---26、正則表達式 在前面一節(jié)我們了解了 Requests 的基本用法，如基本的 GET、POST 請求以及 Response...

    dingding199389 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<