摘要：愛寫作者愛寫前言看了很多網(wǎng)站，只發(fā)現(xiàn)獲取拉勾網(wǎng)招聘信息是只用方式就可以得到，應當是非常簡單了。在環(huán)境下運行通過數(shù)據(jù)爬取篇偽造瀏覽器訪問拉勾網(wǎng)打開瀏覽器，進入拉勾網(wǎng)官網(wǎng)，右鍵檢查，調(diào)出開發(fā)者模式。

[TOC]

愛寫bug（ID：icodebugs）
作者：愛寫bug

? 看了很多網(wǎng)站，只發(fā)現(xiàn)獲取拉勾網(wǎng)招聘信息是只用post方式就可以得到，應當是非常簡單了。推薦剛接觸數(shù)據(jù)分析和爬蟲的朋友試一下。

在python3.7、acaconda3環(huán)境下運行通過

打開Chrome瀏覽器，進入拉勾網(wǎng)官網(wǎng)，右鍵->檢查，調(diào)出開發(fā)者模式。

然后在拉勾網(wǎng)搜索關鍵詞 算法工程師 回車，然后點擊下一頁、下一頁，此時開發(fā)者工具里的Network 下XHR（表示該網(wǎng)站是以Ajax方式獲取刷新信息的）應當如下圖（圖中已標明了一些關鍵信息）：

每次點擊下一頁圖中XHR下以PositionAjax開頭的請求就會多一條，圖下方 Form Data 里 page numberpn 就會增加1，網(wǎng)站地址：https://www.lagou.com/jobs/list_ + 搜索關鍵詞 city= + 城市名稱 +&cl=false&fromSearch=true&labelWords=&suginput=

當然搜索關鍵詞是中文的話一定要 unicode 轉(zhuǎn)碼。這里我們以關鍵字為算法工程師，地區(qū)為全國 為例，所以URL：

轉(zhuǎn)碼前：
https://www.lagou.com/jobs/list_算法工程師?city=全國&cl=false&fromSearch=true&labelWords=&suginput=
轉(zhuǎn)碼后：
https://www.lagou.com/jobs/list_%E7%AE%97%E6%B3%95%E5%B7%A5%E7%A8%8B%E5%B8%88?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=

根據(jù)圖中 Request Headers 構(gòu)造請求頭偽造成瀏覽器訪問：

headers = {
        "Accept": "application/json, text/javascript, */*; q=0.01",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36",
        "Referer": "https://www.lagou.com/jobs/list_%E7%AE%97%E6%B3%95%E5%B7%A5%E7%A8%8B%E5%B8%88?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput="
    }

然后根據(jù)圖中 Form Data來構(gòu)造表單，只有pn表示的當前所在頁數(shù)需要不斷改變，所以 pn 定義一個變量num表示當前頁數(shù)：

form_data = {
        "first": "true",
        "pn": num,
        "kd": "算法工程師"
    }

然后試一下：

request=requests.post(url,data=form_data,headers=headers)
print(request.text)

但是尷尬的是這個時候post請求獲得的回復是：

{"status":false,"msg":"您操作太頻繁,請稍后再訪問","clientIp":"182.245.65.138","state":2402}

由于該網(wǎng)站的反爬措施，此時無論把請求頭構(gòu)造的多好都沒用，哪怕用本地的Cookie。

所以我們采用 Seesion 對話方式：

s = requests.Session()  # 創(chuàng)建一個session對象
s.get(url_start, headers=headers, timeout=3) # 使用session維持同一個會話
cookie = s.cookies # 使用該會話的cookie
response = s.post(url, data=form_data, headers=headers, cookies=cookie, timeout=3)

連接成功！

然后解析返回的 json 對象。我們先在開發(fā)者工具里把 PositionAjax 項的 Headers 改到 Preview 看一下Chrome幫我們格式化好的 json 內(nèi)容：

出現(xiàn)了，我們想要的數(shù)據(jù) 在 content -> positionResult -> result , 一共從0到14共15條信息，這對應了網(wǎng)站每頁現(xiàn)實的信息數(shù)。而最下面還有 totalCount: 16945 這是搜索該關鍵詞 算法工程師 下的總條目數(shù)?？梢愿鶕?jù)這個算出一共有多頁的信息（16945 / 15）而不是網(wǎng)站上顯示的只有30頁。由于時間關系，本次示例只獲取29頁數(shù)據(jù)。本次示例只獲取29頁數(shù)據(jù)。

def parse_page(job_json):
    job_list = job_json["content"]["positionResult"]["result"]
    company_info = []
    for job in job_list:
        job_info = []
        job_info.append(job["companyFullName"])#公司全稱
        job_info.append(job["companySize"])#規(guī)模
        job_info.append(job["financeStage"])#融資情況
        job_info.append(job["district"])#位置
        job_info.append(job["positionName"])#職位
        job_info.append(job["workYear"])#工作經(jīng)驗要求
        job_info.append(job["education"])#學歷
        job_info.append(job["salary"])#工資
        job_info.append(job["positionAdvantage"])#福利待遇
        company_info.append(job_info)#把所有職位情況添加到網(wǎng)頁信息page_info
    return company_info

我們就把每個公司的各類招聘情況存儲在 company_info 里了。

最后把所有 company_info 匯總在一起：

result = parse_page(job_json)
all_company += result # 所有公司招聘信息匯在一起

接著以CSV格式存儲在本地：

path = "A:Temp"  # 指定csv數(shù)據(jù)存儲路徑
df.to_csv(path + "lagou_algorithm_data.csv", index=False)
print("保存路徑：" + path + "lagou_algorithm_data.csv")

數(shù)據(jù)圖片：

](https://upload-images.jianshu...

? 我們獲得的數(shù)據(jù)都是以字符串形式存儲的，而且像工資（20k—30k）、工作經(jīng)驗（3—5年）都是以區(qū)間的形式表現(xiàn)出來的，應該求其平均值（工資25k，工作經(jīng)驗4年）。另外像工作經(jīng)驗 不限、應屆畢業(yè)生等，我們應該把該公司要求年限 改為0。

pattern = "d+"  # 正則表達式-匹配連續(xù)數(shù)字
# 統(tǒng)計每個公司的平均經(jīng)驗要求
lagou_data["平均經(jīng)驗"] = lagou_data["經(jīng)驗"].str.findall(
    pattern)  # findall查找所有["經(jīng)驗"]下的數(shù)字字符串
avg_work_year = []
for i in lagou_data["平均經(jīng)驗"]:
    if len(i) == 0:  # 長度為0則意為著沒數(shù)字，既工作經(jīng)驗為不限、應屆畢業(yè)生等,即沒有工作經(jīng)驗要求
        avg_work_year.append(0)
    else:  # 匹配的是兩個數(shù)值的工作經(jīng)驗區(qū)間 幾年到幾年，，
        year_list = [int(j) for j in i]  # 得到每一個數(shù)轉(zhuǎn)為int型
        avg_year = sum(year_list)/2  # 求工作區(qū)間的平均值，平均年限
        avg_work_year.append(avg_year)
lagou_data["平均經(jīng)驗"] = avg_work_year
# 統(tǒng)計每個公司給出的平均工資
lagou_data["平均工資"] = lagou_data["工資"].str.findall(pattern)
avg_salary = []
for k in lagou_data["平均工資"]:
    salary_list = [int(n) for n in k]
    salary = sum(salary_list)/2
    avg_salary.append(salary)
lagou_data["平均工資"] = avg_salary # 新列一項平均工資

存儲的csv文件（你需要先存到本地才能看得到）會多兩列 平均經(jīng)驗 和 平均工資：

由于本篇為基礎篇只畫兩個最簡單的圖且不做過多渲染美化，數(shù)據(jù)可視化都是一些簡單的繪圖，只有一個中文顯示亂碼問題，其他并沒有什么坑，所以不做過多描述。

解決中文亂碼問題：

plt.rcParams["font.sans-serif"] = ["SimHei"]  # 替換sans-serif字體顯示中文
plt.rcParams["axes.unicode_minus"] = False  # 解決坐標軸負數(shù)的負號顯示問題

# 繪制工資頻率直方圖
plt.hist(lagou_data["平均工資"], alpha=0.8, color="steelblue")
plt.xlabel("工資/千元")
plt.ylabel("頻數(shù)")
plt.title("算法工程師平均工資直方圖")
plt.savefig(path+"lagou_algorithm_salary.jpg")  # 指定保存路徑
plt.show()

# 繪制學歷要求餅圖
count = lagou_data["學歷"].value_counts()
plt.pie(count, labels=count.keys(), shadow=True,autopct="%2.2f%%")
plt.savefig(path+"lagou_algorithm_education.jpg")
plt.show()

這里要注意一下，上面設置的全局顯示字體僅對matplotlib，有效，所以這里要指定一下字體防止中文亂碼。

# 繪制福利待遇詞云
color_mask = imread(path+"china_map.jpg")
strs = ""
for line in lagou_data["福利"]:
    strs += line  # 連接所有字符串
cut_strs = " ".join(jieba.cut(strs))  # 使用中文分詞jieba，將字符串分割成列表
word_cloud = WordCloud(font_path="C:WindowsFonts微軟雅黑msyh.ttc",mask=color_mask,background_color="white").generate(cut_strs)  # 指定顯示字體避免中文亂碼
word_cloud.to_file(path+"lagou_algorithm_wordcloud.jpg") # 存儲圖片
plt.imshow(word_cloud)
plt.show()

這里詞云背景指定為中國地圖：

公司福利詞云最終效果圖：

? 本文面向新手，文中不可避免有一些設置不合理的問題（數(shù)據(jù)量過少、工資取平均值代表不了實際情況），但還是可以從一定程度上反映出這個崗位的待遇和工資水平。

工資絕大部分集中在 2萬到3萬之間真的是相當高了。不過要求也不低，在多年的工作經(jīng)驗要求下，依然要求碩士畢業(yè)學歷的公司依然占比 33%。相信過不了多久，本科和碩士的學歷要求占比就會換一下位置了。五(六)險一金是開的最多的福利待遇，算是公司準則了?，F(xiàn)在公司都流行用彈性工作、氛圍什么的精神福利來招人了么。

所有源代碼及地圖素材：https://github.com/zhangzhe532/icodebugs/tree/master/DataAnalysis/lagou_data_Analysis

文章主要參考：

Python Data Science Handbook（Python數(shù)據(jù)科學手冊）

pandas API 文檔：https://pandas.pydata.org/pan...

可視化WordCloud: https://www.jianshu.com/p/daa...

matplotlib中文亂碼問題 ：https://www.cnblogs.com/hhh54...

網(wǎng)站反爬機制日新月異，所以本文有較強的時效性，無法保證您在實踐時是否還可行.

所有數(shù)據(jù)、操作僅作學習交流，不會用于商業(yè)用途。