網(wǎng)絡(luò)爬蟲-POST請求示例

learn_shifeng 發(fā)布于2019-07-25 11:37 / 1926人閱讀

摘要：請求比較常見的一種情況就是用戶名密碼登陸情況，這里介紹一種用程序登陸豆瓣賬號的流程。在編寫網(wǎng)絡(luò)爬蟲的時候，我們只需要把與用戶相關(guān)的數(shù)據(jù)給程序就可以了，對于豆瓣來說，關(guān)鍵就是和兩個字段，這樣通過下面程序來實(shí)現(xiàn)。

POST請求比較常見的一種情況就是用戶名密碼登陸情況，這里介紹一種用程序登陸豆瓣賬號的流程。
?

在豆瓣需要我們輸入用戶名密碼，才能獲得我們用戶里面相關(guān)的數(shù)據(jù)。那么我們通過POST方式傳給服務(wù)器的數(shù)據(jù)在哪里呢？與GET方式一樣，我們可以在Chrome瀏覽器中查看請求頭，在里面可以看到Form Data，很自然可以看到我們在頁面輸入的用戶名密碼。

登陸之后，我們就可以獲得與用戶相關(guān)的頁面。因?yàn)槭荘OST方式，瀏覽器的url并沒有跳轉(zhuǎn)到其他，仍然與登陸之前一樣，但是頁面內(nèi)容，卻發(fā)生了變化。
?

在編寫網(wǎng)絡(luò)爬蟲的時候，我們只需要把與用戶相關(guān)的數(shù)據(jù)給程序就可以了，對于豆瓣來說，關(guān)鍵就是form_email和form_password兩個字段，這樣通過下面程序來實(shí)現(xiàn)。

打印出來的內(nèi)容，大家可以看看是不是登陸后頁面的網(wǎng)頁源代碼呢？

楚江數(shù)據(jù)是一家專業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)服務(wù)商，提供網(wǎng)站APP數(shù)據(jù)采集和爬蟲軟件微博爬蟲定制開發(fā)服務(wù)，服務(wù)范圍涵蓋社交網(wǎng)絡(luò)、電子商務(wù)、分類信息、學(xué)術(shù)研究等。網(wǎng)站 http://www.chujiangdata.com。

轉(zhuǎn)載請注明：寧哥的小站 ? 4. 網(wǎng)絡(luò)爬蟲-POST請求示例

云服務(wù)器 GPU云服務(wù)器 post請求發(fā)送post請求模擬POST請求 post請求中文亂碼

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/38510.html

相關(guān)文章

爬蟲養(yǎng)成記 - 網(wǎng)絡(luò)下載器urllib2偽裝術(shù)

摘要：發(fā)送請求方不希望被跟蹤。主要用來將偽裝成一個正常的瀏覽器。該字典就是說是網(wǎng)絡(luò)協(xié)議名稱，是代理的。另外一般會明確指定資源存放的位置。意思是將現(xiàn)在提交的數(shù)據(jù)存放于下第篇。請求刪除某一個資源。向服務(wù)器提交數(shù)據(jù)。前一個教程我們涉及到了urllib2的一些高級應(yīng)用。這一片文章我們來比較系統(tǒng)的介紹一下。該篇教程參考了靜覓的博文：http://cuiqingcai.com/954.html。寫這...

Darkgel 2019-07-25 11:24 評論0 收藏0
Go 爬蟲之 HTTP 請求 QuickStart

摘要：即是發(fā)送請求的客戶端，請求的執(zhí)行都是由發(fā)起。響應(yīng)信息執(zhí)行請求成功，如何查看響應(yīng)信息。提交文件文件提交應(yīng)該是請求中較為復(fù)雜的內(nèi)容了。主要涉及兩部分內(nèi)容，即讀取響應(yīng)的與設(shè)置請求的。的包中請求是不重定向的，但測試結(jié)果顯示的是自動重定向的。前幾天在知乎想法談到了一個話題，如何模仿學(xué)習(xí)，舉了通過 net/http client 模仿 Pyhton 的requests的例子。但并未實(shí)踐，難道...

antyiwei 2019-07-31 11:31 評論0 收藏0
網(wǎng)絡(luò)爬蟲介紹

摘要：什么是爬蟲網(wǎng)絡(luò)爬蟲也叫網(wǎng)絡(luò)蜘蛛，是一種自動化瀏覽網(wǎng)絡(luò)的程序，或者說是一種網(wǎng)絡(luò)機(jī)器人。什么是爬蟲網(wǎng)絡(luò)爬蟲也叫網(wǎng)絡(luò)蜘蛛，是一種自動化瀏覽網(wǎng)絡(luò)的程序，或者說是一種網(wǎng)絡(luò)機(jī)器人。它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類似網(wǎng)站，以獲取或更新這些網(wǎng)站的內(nèi)容和檢索方式。它們可以自動采集所有其能夠訪問到的頁面內(nèi)容，以供搜索引擎做進(jìn)一步處理（分檢整理下載的頁面），而使得用戶能更快的檢索到他們需要的信息。簡...

sf190404 2019-07-31 10:23 評論0 收藏0
Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---25、requests：高級用法

摘要：比如我們以知乎為例，直接利用來維持登錄狀態(tài)。測試后，發(fā)現(xiàn)同樣可以正常登錄知乎。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)基本使用下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)正則表達(dá)式上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---24、requests：基本使用下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---26、正則表達(dá)式在前面一節(jié)我們了解了 Requests 的基本用法，如基本的 GET、POST 請求以及 Response...

dingding199389 2019-07-31 10:35 評論0 收藏0
Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---15、爬蟲基礎(chǔ)：HTTP基本原理

摘要：上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)部署相關(guān)庫的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)網(wǎng)頁基礎(chǔ)在寫爬蟲之前，還是需要了解一些爬蟲的基礎(chǔ)知識，如原理網(wǎng)頁的基礎(chǔ)知識爬蟲的基本原理基本原理等。由萬維網(wǎng)協(xié)會和工作小組共同合作制定的規(guī)范，目前廣泛使用的是版本。上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---14、部署相關(guān)庫的安裝：Scrapyrt、Gerapy下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---16、Web網(wǎng)頁基礎(chǔ)...

codeGoogle 2019-07-31 10:34 評論0 收藏0