成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

python爬蟲之ajax請求

崔曉明 / 3627人閱讀

摘要：爬蟲之請求爬取豆瓣網的分頁瀏覽請求請輸入想要第幾頁的數據構建參數將字典轉化為修改肯德基配送信息請求請輸入要查詢的城市請輸入要查詢第幾頁請輸入要多少個

python爬蟲之ajax請求

爬取豆瓣網的分頁瀏覽get請求：

import urllib.request
import urllib.parse

url = "https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&"

page = int(input("請輸入想要第幾頁的數據:"))
# start=0  limit=20
# start=1
number = 20

# 構建get參數
data = {
    "start": (page - 1)*number,
    "limit": number,
}
# 將字典轉化為query_string
query_string = urllib.parse.urlencode(data)
# 修改url
url += query_string

# 
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36",
}
request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

print(response.read().decode())

肯德基配送信息post請求

import urllib.request
import urllib.parse

post_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"

city = input("請輸入要查詢的城市:")
page = input("請輸入要查詢第幾頁:")
size = input("請輸入要多少個:")
formdata = {
    "cname": city,
    "pid": "", 
    "pageIndex": page,
    "pageSize": size,
}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36",
}

request = urllib.request.Request(url=post_url, headers=headers)
formdata = urllib.parse.urlencode(formdata).encode()

response = urllib.request.urlopen(request, data=formdata)

print(response.read().decode())

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://systransis.cn/yun/42163.html

相關文章

  • Python入門網絡爬蟲之精華版

    摘要：學習網絡爬蟲主要分個大的版塊抓取，分析，存儲另外，比較常用的爬蟲框架，這里最后也詳細介紹一下。網絡爬蟲要做的，簡單來說，就是實現瀏覽器的功能。 Python學習網絡爬蟲主要分3個大的版塊：抓取，分析，存儲 另外，比較常用的爬蟲框架Scrapy，這里最后也詳細介紹一下。 首先列舉一下本人總結的相關文章，這些覆蓋了入門網絡爬蟲需要的基本概念和技巧：寧哥的小站-網絡爬蟲,當我們在瀏覽器中輸入...

    Bmob 評論0 收藏0

  • 爬蟲問題總結

    摘要：編碼我們發(fā)現，中有時候存在中文，這是就需要對進行編碼?？梢韵葘⒅形霓D換成編碼，然后使用方法對參數進行編碼后傳遞。 本文檔對日常學習中用 python 做數據爬取時所遇到的一些問題做簡要記錄，以便日后查閱，部分問題可能因為認識不到位會存在一些誤解，敬請告知，萬分感謝，共同進步。 估算網站規(guī)模 該小節(jié)主要針對于整站爬取的情況。爬取整站之前，肯定是要先對一個網站的規(guī)模進行估計。這是可以使用g...

    nanfeiyan 評論0 收藏0

  • 爬蟲初級操作（一）

    摘要：一個對應相應的狀態(tài)碼，狀態(tài)碼表示協議所返回的響應的狀態(tài)。下面將狀態(tài)碼歸結如下繼續(xù)客戶端應當繼續(xù)發(fā)送請求。繼續(xù)處理由擴展的狀態(tài)碼，代表處理將被繼續(xù)執(zhí)行。處理方式丟棄該狀態(tài)碼不被的應用程序直接使用，只是作為類型回應的默認解釋。 本篇內容為 python 網絡爬蟲初級操作，內容主要有以下 3 部分： python 關于爬蟲的一些基本操作和知識 靜態(tài)網頁抓取 動態(tài)網頁抓取 基本操作和知識...

    Ocean 評論0 收藏0

  • Python3網絡爬蟲實戰(zhàn)---36、分析Ajax爬取今日頭條街拍美圖

    摘要：上一篇文章網絡爬蟲實戰(zhàn)數據爬取下一篇文章網絡爬蟲實戰(zhàn)動態(tài)渲染頁面抓取本節(jié)我們以今日頭條為例來嘗試通過分析請求來抓取網頁數據的方法，我們這次要抓取的目標是今日頭條的街拍美圖，抓取完成之后將每組圖片分文件夾下載到本地保存下來。 上一篇文章：Python3網絡爬蟲實戰(zhàn)---35、 Ajax數據爬取下一篇文章：Python3網絡爬蟲實戰(zhàn)---37、動態(tài)渲染頁面抓取:Selenium 本節(jié)我們...

    Leck1e 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<