摘要：分析登錄過(guò)程這幾天研究百度登錄和貼吧簽到，這百度果然是互聯(lián)網(wǎng)巨頭，一個(gè)登錄過(guò)程都弄得復(fù)雜無(wú)比，簡(jiǎn)直有毒。另外如果你打開(kāi)百度首頁(yè)的話，還會(huì)發(fā)現(xiàn)瀏覽器的中還會(huì)輸出百度的招聘信息。

這幾天研究百度登錄和貼吧簽到，這百度果然是互聯(lián)網(wǎng)巨頭，一個(gè)登錄過(guò)程都弄得復(fù)雜無(wú)比，簡(jiǎn)直有毒。我研究了好幾天仍然沒(méi)搞明白。所以還是先挑一個(gè)軟柿子捏捏，就選擇CSDN了。

過(guò)程很簡(jiǎn)單，我也不截圖了。直接打開(kāi)瀏覽器，然后打開(kāi)Fiddler，然后登錄CSDN。然后Fiddler顯示瀏覽器向https://passport.csdn.net/account/login?ref=toolbar發(fā)送了一個(gè)POST請(qǐng)求，這個(gè)請(qǐng)求包含了登錄表單，而且還是未加密的。當(dāng)然CSDN本身還是使用了HTTPS，所以安全性還行。

請(qǐng)求體如下，username和password當(dāng)然是用戶名和密碼了。

username=XXXXX&password=XXXXXX&rememberMe=true<=LT-461600-wEKpWAqbfZoULXmFmDIulKPbL44hAu&execution=e4s1&_eventId=submit

lt參數(shù)我不知道是干啥的，結(jié)果直接在頁(yè)面中一看原來(lái)全在表單里頭，這下直接全了。CSDN很貼心的連注釋都給出了。另外如果你打開(kāi)百度首頁(yè)的話，還會(huì)發(fā)現(xiàn)瀏覽器的log中還會(huì)輸出百度的招聘信息。

這些信息全有了，這樣我們就可以登錄了。不說(shuō)廢話，直接上代碼。先說(shuō)說(shuō)我遇到的幾個(gè)坑。

首先是一個(gè)參數(shù)錯(cuò)誤，其實(shí)邏輯沒(méi)問(wèn)題，但是代碼我復(fù)制粘貼之后忘了改名字了，就登錄表單那里，三個(gè)參數(shù)全弄成了lt，結(jié)果登錄返回來(lái)的頁(yè)面是錯(cuò)誤頁(yè)面。我還以為是沒(méi)有附帶什么請(qǐng)求頭，瞎整了大半天。最后用Fiddler調(diào)試了好多遍才發(fā)現(xiàn)。

第二個(gè)問(wèn)題就是CSDN雞賊的跳轉(zhuǎn)。由于瀏覽器自帶了JS引擎，所以我們?cè)跒g覽器中輸入網(wǎng)址，到達(dá)頁(yè)面這一過(guò)程不一定就是一個(gè)請(qǐng)求?？赡苤虚g用了什么JS代碼先跳轉(zhuǎn)到中間頁(yè)面，最后才跳轉(zhuǎn)到實(shí)際頁(yè)面。代碼里的_validate_redirect_url(self)函數(shù)就是干這個(gè)的，登錄完了第一次請(qǐng)求會(huì)得到一個(gè)中間頁(yè)面，它包含了一堆JS代碼，其中有個(gè)重定向網(wǎng)址。我們獲取到這個(gè)重定向網(wǎng)址，還得請(qǐng)求一次，獲得200OK之后，后續(xù)請(qǐng)求才能獲得實(shí)際頁(yè)面。

第三個(gè)問(wèn)題就是正則表達(dá)式匹配頁(yè)面的空格問(wèn)題了。獲取文章首先得知道文章總數(shù)，這個(gè)好辦，直接獲取頁(yè)面里的文章數(shù)就行了。它類(lèi)似100條 共20頁(yè)這個(gè)。那么該怎么獲取呢？一開(kāi)始我用的(d+)條 共(d+)頁(yè)這個(gè)正則，但是結(jié)果沒(méi)匹配到，然后我仔細(xì)看了一下頁(yè)面，原來(lái)這兩個(gè)詞之間不是一個(gè)空格，而是兩個(gè)空格！其實(shí)這個(gè)問(wèn)題倒是也好辦，改一下正則(d+)條s*共(d+)頁(yè)就行了。所以以后如果遇到空格問(wèn)題，直接用s匹配，不要想著自己輸入一個(gè)空格還是兩個(gè)空格。

import requests
from bs4 import BeautifulSoup
import re
import urllib.parse as parse


class CsdnHelper:
    """登錄CSDN和列出所有文章的類(lèi)"""
    csdn_login_url = "https://passport.csdn.net/account/login?ref=toolbar"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36",
    }
    blog_url = "http://write.blog.csdn.net/postlist/"

    def __init__(self):
        self._session = requests.session()
        self._session.headers = CsdnHelper.headers

    def login(self, username, password):
        """登錄主函數(shù)"""
        form_data = self._prepare_login_form_data(username, password)
        response = self._session.post(CsdnHelper.csdn_login_url, data=form_data)
        if "UserNick" in response.cookies:
            nick = response.cookies["UserNick"]
            print(parse.unquote(nick))
        else:
            raise Exception("登錄失敗")

    def _prepare_login_form_data(self, username, password):
        """從頁(yè)面獲取參數(shù)，準(zhǔn)備提交表單"""
        response = self._session.get(CsdnHelper.csdn_login_url)
        login_page = BeautifulSoup(response.text, "lxml")
        login_form = login_page.find("form", id="fm1")

        lt = login_form.find("input", attrs={"name": "lt"})["value"]
        execution = login_form.find("input", attrs={"name": "execution"})["value"]
        eventId = login_form.find("input", attrs={"name": "_eventId"})["value"]
        form = {
            "username": username,
            "password": password,
            "lt": lt,
            "execution": execution,
            "_eventId": eventId
        }

        return form

    def _get_blog_count(self):
        """獲取文章數(shù)和頁(yè)數(shù)"""
        self._validate_redirect_url()
        response = self._session.get(CsdnHelper.blog_url)
        blog_page = BeautifulSoup(response.text, "lxml")
        span = blog_page.find("div", class_="page_nav").span
        print(span.string)
        pattern = re.compile(r"(d+)條s*共(d+)頁(yè)")
        result = pattern.findall(span.string)
        blog_count = int(result[0][0])
        page_count = int(result[0][1])
        return (blog_count, page_count)

    def _validate_redirect_url(self):
        """驗(yàn)證重定向網(wǎng)頁(yè)"""
        response = self._session.get(CsdnHelper.blog_url)
        redirect_url = re.findall(r"var redirect = "(S+)";", response.text)[0]
        self._session.get(redirect_url)

    def print_blogs(self):
        """輸出文章信息"""
        blog_count, page_count = self._get_blog_count()
        for index in range(1, page_count + 1):
            url = f"http://write.blog.csdn.net/postlist/0/0/enabled/{index}"
            response = self._session.get(url)
            page = BeautifulSoup(response.text, "lxml")
            links = page.find_all("a", href=re.compile(r"http://blog.csdn.net/u011054333/article/details/(d+)"))
            print(f"----------第{index}頁(yè)----------")
            for link in links:
                blog_name = link.string
                blog_url = link["href"]
                print(f"文章名稱:《{blog_name}》 文章鏈接:{blog_url}")


if __name__ == "__main__":
    csdn_helper = CsdnHelper()
    username = input("請(qǐng)輸入用戶名")
    password = input("請(qǐng)輸入密碼")
    csdn_helper.login(username, password)
    csdn_helper.print_blogs()

當(dāng)然，這里最重要的的就是登錄過(guò)程了。我們登錄之后，才可以做其他事情。比方說(shuō)，下一步還能寫(xiě)一個(gè)備份工具，把CSDN博客的所有文章和圖片下載到本地。有興趣的同學(xué)可以試一試。