成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

基于Python的Post請(qǐng)求數(shù)據(jù)爬取

maybe_009 / 1308人閱讀

摘要：為什么做這個(gè)和同學(xué)聊天，他想爬取一個(gè)網(wǎng)站的請(qǐng)求觀察該網(wǎng)站的請(qǐng)求參數(shù)有兩種類型參數(shù)體放在了中，即拼接參數(shù)中要加入一個(gè)空的對(duì)象，關(guān)于為什么要加入空的對(duì)象，猜測(cè)原因?yàn)榉磁老x(chóng)。

為什么做這個(gè)

和同學(xué)聊天，他想爬取一個(gè)網(wǎng)站的post請(qǐng)求

觀察

該網(wǎng)站的post請(qǐng)求參數(shù)有兩種類型：（1）參數(shù)體放在了query中，即url拼接參數(shù)（2）body中要加入一個(gè)空的json對(duì)象，關(guān)于為什么要加入空的json對(duì)象，猜測(cè)原因?yàn)榉磁老x(chóng)。既有query參數(shù)又有空對(duì)象體的body參數(shù)是一件腦洞很大的事情。

一開(kāi)始先在apizza網(wǎng)站上了做了相關(guān)實(shí)驗(yàn)才發(fā)現(xiàn)上面這個(gè)規(guī)律的，并發(fā)現(xiàn)該網(wǎng)站的請(qǐng)求參數(shù)要為raw形式，要是直接寫(xiě)代碼找規(guī)律不是一件容易的事情。

源碼 
import requests
import json
headers = {
        "Accept":"application/json, text/javascript, */*; q=0.01",
        "X-Requested-With":"XMLHttpRequest",
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36",
        "Content-Type":"application/json",
        "Accept-Encoding":"gzip, deflate",
        "Accept-Language":"zh-CN,zh;q=0.8",
        "Cache-Control":"no-cache",
    }
#空的對(duì)象，body參數(shù)
data = {}
data = json.dumps(data)
page = 0

url = "網(wǎng)站地址，后面為參數(shù)?param1=1¶m1="+str(page)
response = requests.post(url = url,data=data ,headers =headers )
print(response.url)
print(response.text)
總結(jié)

現(xiàn)在相關(guān)工具中發(fā)現(xiàn)現(xiàn)象

請(qǐng)求方式確定：post還是get或者其它

參數(shù)類型：form-data還是raw或者其它

參數(shù)位置：若是post請(qǐng)求，在query中還是body中，還是二者皆有

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/44003.html

相關(guān)文章

  • Python-爬蟲(chóng)工程師-面試總結(jié)

    摘要：內(nèi)存池機(jī)制提供了對(duì)內(nèi)存的垃圾收集機(jī)制，但是它將不用的內(nèi)存放到內(nèi)存池而不是返回給操作系統(tǒng)。為了加速的執(zhí)行效率，引入了一個(gè)內(nèi)存池機(jī)制，用于管理對(duì)小塊內(nèi)存的申請(qǐng)和釋放。 注：答案一般在網(wǎng)上都能夠找到。1.對(duì)if __name__ == main的理解陳述2.python是如何進(jìn)行內(nèi)存管理的？3.請(qǐng)寫(xiě)出一段Python代碼實(shí)現(xiàn)刪除一個(gè)list里面的重復(fù)元素4.Python里面如何拷貝一個(gè)對(duì)象？...

    antz 評(píng)論0 收藏0

  • Python入門網(wǎng)絡(luò)爬蟲(chóng)之精華版

    摘要：學(xué)習(xí)網(wǎng)絡(luò)爬蟲(chóng)主要分個(gè)大的版塊抓取，分析，存儲(chǔ)另外，比較常用的爬蟲(chóng)框架，這里最后也詳細(xì)介紹一下。網(wǎng)絡(luò)爬蟲(chóng)要做的，簡(jiǎn)單來(lái)說(shuō)，就是實(shí)現(xiàn)瀏覽器的功能。 Python學(xué)習(xí)網(wǎng)絡(luò)爬蟲(chóng)主要分3個(gè)大的版塊：抓取，分析，存儲(chǔ) 另外，比較常用的爬蟲(chóng)框架Scrapy，這里最后也詳細(xì)介紹一下。 首先列舉一下本人總結(jié)的相關(guān)文章，這些覆蓋了入門網(wǎng)絡(luò)爬蟲(chóng)需要的基本概念和技巧：寧哥的小站-網(wǎng)絡(luò)爬蟲(chóng),當(dāng)我們?cè)跒g覽器中輸入...

    Bmob 評(píng)論0 收藏0

  • Python爬蟲(chóng)之使用Fiddler+Postman+Python的requests模塊爬取各國(guó)國(guó)旗

    摘要：流程作為上述過(guò)程的一個(gè)演示，我們使用的網(wǎng)址為頁(yè)面如下在表單中輸入德國(guó)，跳轉(zhuǎn)后的頁(yè)面如下我們可以發(fā)現(xiàn)，在搜索的結(jié)果中，會(huì)出現(xiàn)德國(guó)這個(gè)搜索結(jié)果。點(diǎn)擊該搜索結(jié)果，跳轉(zhuǎn)后的頁(yè)面如下在這個(gè)頁(yè)面中有我們需要的德國(guó)的國(guó)旗。 介紹 ??本篇博客將會(huì)介紹一個(gè)Python爬蟲(chóng)，用來(lái)爬取各個(gè)國(guó)家的國(guó)旗，主要的目標(biāo)是為了展示如何在Python的requests模塊中使用POST方法來(lái)爬取網(wǎng)頁(yè)內(nèi)容。??為了知道...

    laoLiueizo 評(píng)論0 收藏0

  • Python requests 安裝與開(kāi)發(fā)

    摘要：是用語(yǔ)言編寫(xiě)客戶端庫(kù)，跟類似，基于，但比更加方便，可以節(jié)約我們大量的工作，完全滿足測(cè)試需求，編寫(xiě)爬蟲(chóng)和測(cè)試服務(wù)器響應(yīng)數(shù)據(jù)時(shí)經(jīng)常會(huì)用到。 Requests 是用Python語(yǔ)言編寫(xiě)HTTP客戶端庫(kù)，跟urllib、urllib2類似，基于 urllib，但比 urllib 更加方便，可以節(jié)約我們大量的工作，完全滿足 HTTP?測(cè)試需求，編寫(xiě)爬蟲(chóng)和測(cè)試服務(wù)器響應(yīng)數(shù)據(jù)時(shí)經(jīng)常會(huì)用到。Reque...

    XGBCCC 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<