資訊專欄INFORMATION COLUMN
摘要：爬蟲入門實戰(zhàn)一請求方式爬取肯德基配送地址解析，通過方式準確發(fā)送信息是本次爬蟲實戰(zhàn)的重難點。
python爬蟲入門實戰(zhàn)（一）
post請求方式爬取肯德基配送地址
解析url，通過post方式準確發(fā)送data信息是本次爬蟲實戰(zhàn)的重難點。代碼如下：
# 肯德基店鋪位置案例
"""
需求:根據用戶輸入的頁碼的起始位置，
把每頁的餐廳信息存儲到一個獨立的json文件中
"""
from urllib import request
from urllib import parse
import json
post_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"
start_page = int(input("請輸入起始頁:"))
end_page = int(input("請輸入結束頁:"))
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"
}
for page in range(start_page, end_page + 1):
p = str(page)
data = {
"cname": "北京",
"pid": "",
"pageIndex": p,
"pageSize": "10"
}
data = parse.urlencode(data).encode("utf-8")
req = request.Request(url=post_url,
data=data,
headers=headers)
response = request.urlopen(req)
content = response.read().decode("utf-8")
# 保存為本地json文件
filename = "data/KFC/{}.json".format(p)
json.dump(content, open(filename, "w", encoding="utf-8"),
ensure_ascii=False)
由于比較簡單，我就不多解釋了，，，關掉電腦，，，今天的修行到此結束。。。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉載請注明本文地址：http://systransis.cn/yun/42001.html
摘要：楚江數據是專業(yè)的互聯(lián)網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，。本文來源知乎作者路人甲鏈接楚江數據提供網站數據采集和爬蟲軟件定制開發(fā)服務，服務范圍涵蓋社交網絡電子商務分類信息學術研究等。 楚江數據是專業(yè)的互聯(lián)網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，http://www.chujiangdata.com。 第一：Python爬蟲學習系列教程（來源于某博主：htt...
摘要：以下這些項目，你拿來學習學習練練手。當你每個步驟都能做到很優(yōu)秀的時候，你應該考慮如何組合這四個步驟，使你的爬蟲達到效率最高，也就是所謂的爬蟲策略問題，爬蟲策略學習不是一朝一夕的事情，建議多看看一些比較優(yōu)秀的爬蟲的設計方案，比如說。 （一）如何學習Python 學習Python大致可以分為以下幾個階段： 1.剛上手的時候肯定是先過一遍Python最基本的知識，比如說：變量、數據結構、語法...
摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...
?????? ???Hello，大家好我叫是Dream呀，一個有趣的Python博主，小白一枚，多多關照??? ???CSDN Python領域新星創(chuàng)作者，大二在讀，歡迎大家找我合作學習 ?入門須知：這片樂園從不缺乏天才，努力才是你的最終入場券！??? ?最后，愿我們都能在看不到的地方閃閃發(fā)光，一起加油進步??? ???一萬次悲傷，依然會有Dream，我一直在最溫暖的地方等你，唱的就是我！哈哈哈~...
閱讀 1363·2021-09-28 09:43
閱讀 4163·2021-09-04 16:41
閱讀 1928·2019-08-30 15:44
閱讀 3750·2019-08-30 15:43
閱讀 787·2019-08-30 14:21
閱讀 2044·2019-08-30 11:00
閱讀 3329·2019-08-29 16:20
閱讀 1932·2019-08-29 14:21
