摘要：今天介紹一種通過(guò)抓包端微信的方式去獲取公眾號(hào)文章的方法。如上圖，通過(guò)抓包工具獲取微信的網(wǎng)絡(luò)信息請(qǐng)求，我們發(fā)現(xiàn)每次下拉刷新文章的時(shí)候都會(huì)請(qǐng)求這個(gè)接口。

本文首發(fā)自公眾號(hào)：python3xxx

爬取公眾號(hào)的方式常見(jiàn)的有兩種

通過(guò)搜狗搜索去獲取，缺點(diǎn)是只能獲取最新的十條推送文章

通過(guò)微信公眾號(hào)的素材管理，獲取公眾號(hào)文章。缺點(diǎn)是需要申請(qǐng)自己的公眾號(hào)。

今天介紹一種通過(guò)抓包PC端微信的方式去獲取公眾號(hào)文章的方法。相比其他的方法非常方便。

如上圖，通過(guò)抓包工具獲取微信的網(wǎng)絡(luò)信息請(qǐng)求，我們發(fā)現(xiàn)每次下拉刷新文章的時(shí)候都會(huì)請(qǐng)求 mp.weixin.qq.com/mp/profile_ext 這個(gè)接口。

經(jīng)過(guò)多次測(cè)試分析，用到了以下幾個(gè)參數(shù)

__biz : 用戶和公眾號(hào)之間的唯一id，

uin ：用戶的私密id

key ：請(qǐng)求的秘鑰，一段時(shí)候只會(huì)就會(huì)失效。

offset ：偏移量

count ：每次請(qǐng)求的條數(shù)

數(shù)據(jù)如下

{
 "ret": 0,
 "errmsg": "ok", # 請(qǐng)求狀態(tài)
 "msg_count": 10,  # 信息條數(shù)
 "can_msg_continue": 1, # 是否還可以繼續(xù)獲取，1代表可以。0代表不可以，也就是最后一頁(yè)
 "general_msg_list": "{"list":[]}", # 公眾號(hào)文本信息
 "next_offset": 20,  
 "video_count": 1,
 "use_video_tab": 1,
 "real_type": 0,
 "home_page_list": []
}

部分代碼如下

 params = {
        "__biz": biz,
        "uin": uin,
        "key": key,
        "offset": offset,
        "count": count,
        "action": "getmsg",
        "f": "json"
    }

    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"
    }

    response = requests.get(url=url, params=params, headers=headers)
    resp_json = response.json()
    if resp_json.get("errmsg") == "ok":
        resp_json = response.json()
        # 是否還有分頁(yè)數(shù)據(jù)， 用于判斷return的值
        can_msg_continue = resp_json["can_msg_continue"]
        # 當(dāng)前分頁(yè)文章數(shù)
        msg_count = resp_json["msg_count"]
        general_msg_list = json.loads(resp_json["general_msg_list"])
        list = general_msg_list.get("list")
        print(list, "**************")

最后打印的list就是公眾號(hào)的文章信息詳情。包括標(biāo)題(titile)、摘要(digest)、文章地址(content_url)、閱讀原文地址(source_url)、封面圖(cover)、作者(author)等等...

輸出結(jié)果如下：

[{
    "comm_msg_info": {
        "id": 1000000038,
        "type": 49,
        "datetime": 1560474000,
        "fakeid": "3881067844",
        "status": 2,
        "content": ""
    },
    "app_msg_ext_info": {
        "title": "入門(mén)爬蟲(chóng)，這一篇就夠了?。。?,
        "digest": "入門(mén)爬蟲(chóng)，這一篇就夠了?。?！",
        "content": "",
        "fileid": 0,
        "content_url": "http:XXXXXX",
        "source_url": "",
        "cover": "I5kME6BVXeLibZDUhsiaEYiaX7zOoibxa9sb4stIwrfuqID5ttmiaoVAFyxKF6IjOCyl22vg8n2NPv98ibow/0?wx_fmt=jpeg",
        "subtype": 9,
        "is_multi": 0,
        "multi_app_msg_item_list": [],
        "author": "Python3X",
        "copyright_stat": 11,
        "duration": 0,
        "del_flag": 1,
        "item_show_type": 0,
        "audio_fileid": 0,
        "play_url": "",
        "malicious_title_reason_id": 0,
        "malicious_content_type": 0
    }
},{...},{...},{...},{...},{...},{...},{...},{...},{...}]

獲取數(shù)據(jù)之后，可以保存到數(shù)據(jù)庫(kù)中，也可以將文章保存在PDF中。

# Mongo配置
conn = MongoClient("127.0.0.1", 27017)
db = conn.wx  #連接wx數(shù)據(jù)庫(kù)，沒(méi)有則自動(dòng)創(chuàng)建
mongo_wx = db.article  #使用article集合，沒(méi)有則自動(dòng)創(chuàng)建

for i in list:
    app_msg_ext_info = i["app_msg_ext_info"]
    # 標(biāo)題
    title = app_msg_ext_info["title"]
    # 文章地址
    content_url = app_msg_ext_info["content_url"]
    # 封面圖
    cover = app_msg_ext_info["cover"]

    # 發(fā)布時(shí)間
    datetime = i["comm_msg_info"]["datetime"]
    datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime))

    mongo_wx.insert({
        "title": title,
        "content_url": content_url,
        "cover": cover,
        "datetime": datetime
    })

結(jié)果如下

Python3中常用的操作PDF的庫(kù)有python-pdf和pdfkit。我用了pdfkit這個(gè)模塊導(dǎo)出pdf文件。

pdfkit是工具包Wkhtmltopdf的封裝類，因此需要安裝Wkhtmltopdf才能使用。

可以訪問(wèn) https://wkhtmltopdf.org/downl... 下載和操作系統(tǒng)匹配的工具包。

實(shí)現(xiàn)代碼也比較簡(jiǎn)單，只需要傳入導(dǎo)入文件的url即可。

安裝pdfkit庫(kù)

pip3 install pdfkit -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

import pdfkit
pdfkit.from_url("公眾號(hào)文章地址", "out.pdf")

運(yùn)行之后成功導(dǎo)出pdf文件。

以上就是獲取公眾號(hào)文章的方式，如需完整代碼，可在公眾號(hào)[python3xxx]中回復(fù) 朋友圈 獲取完整代碼！