摘要：今年的流浪地球這么火，通過爬取貓眼電影上網(wǎng)友對該片的評價(jià)如何。也許很多人在這天通過看流浪地球過節(jié)吧。

最近幾年貓眼電影越來越熱門了，都差不多和豆瓣并駕齊驅(qū)了。今年的《流浪地球》這么火，通過爬取貓眼電影上網(wǎng)友對該片的評價(jià)如何。

先打開貓眼官網(wǎng)找到《流浪地球》的介紹頁面：https://maoyan.com/films/248906

雖然顯示有112.4萬人評分，但是頁面只有熱門短評，其他評論都去哪里了，手機(jī)明明是有的。

那么我們用chrome切換到手機(jī)頁面：

打開開發(fā)者工具

開啟手機(jī)瀏覽功能

訪問手機(jī)版地址：http://m.maoyan.com/movie/248...$from=canary#

這時(shí)候我們就看到了所有的評論。

在點(diǎn)擊打開“查看全部330613條討論”后，發(fā)現(xiàn)評論分為最熱和最新兩部分，最熱數(shù)量有限，而最新則是未經(jīng)過處理的，也正是我們需要的。通過search來查看下對應(yīng)的請求：

發(fā)現(xiàn)，在chrome 的網(wǎng)絡(luò)展示中發(fā)現(xiàn)只有一個(gè)類型為document的請求包含了所需的信息。那么這部分的評論獲取就需要解析網(wǎng)頁了，我們再把屏幕上的評論往下拉，發(fā)現(xiàn)會自動加載更多的評論，對應(yīng)的chrome網(wǎng)絡(luò)請求多出來了兩個(gè)comments.json的請求：

果然這才是我們需要的！把初始頁面的url和這兩個(gè)json請求的url復(fù)制到一起比較一下：

http://m.maoyan.com/review/v2/comments.json?movieId=248906&userId=-1&offset=0&limit=15&ts=0&type=3
http://m.maoyan.com/review/v2/comments.json?movieId=248906&userId=-1&offset=15&limit=15&ts=1549965527295&type=3
http://m.maoyan.com/review/v2/comments.json?movieId=248906&userId=-1&offset=30&limit=15&ts=1549965527295&type=3

我們可以發(fā)現(xiàn)規(guī)律：

初始頁面的ts值為0，隨后會有ts值，且保持不變。這里的ts是當(dāng)前的時(shí)間戳，可以通過轉(zhuǎn)換工具查看：

offset是請求評論開始的序號，limit為請求的條數(shù)

再看返回的json結(jié)果：

data.comments中是評論的具體內(nèi)容

paging中通過hasMore來告訴我們是否還有更多（判斷是否繼續(xù)抓取）

我們再嘗試下將offset設(shè)置為0，也加上ts參數(shù)：

http://m.maoyan.com/review/v2/comments.json?movieId=248906&userId=-1&offset=0&limit=15&ts=1549965527295&type=3

發(fā)現(xiàn)也是可以獲取數(shù)據(jù)的：

那么通過offset和limit來控制每次請求獲取的數(shù)量。

我們還可以通過加大limit參數(shù)來嘗試，是否可以一次性獲取更多的評論:

http://m.maoyan.com/review/v2/comments.json?movieId=248906&userId=-1&offset=0&limit=30&ts=1549965527295&type=3

效果如下:

再增加limit的值，會發(fā)現(xiàn)評論數(shù)回到了15條，可見貓眼系統(tǒng)僅支持每次最多獲取30條。

根據(jù)上面的分析，我們構(gòu)造請求的url就很明確了：

從offset=0&limit=30開始

通過返回的paging.hasMore來判斷是否繼續(xù)抓取

下一個(gè)抓取的url中offset+=limit

根據(jù)上述分析，在返回的json數(shù)據(jù)中是可以看到總評論數(shù)的，但是實(shí)際抓取的時(shí)候，在offset超過1000之后，返回的數(shù)據(jù)中hasMore就變成了false。

于是嘗試通過瀏覽器一直下拉刷新，到達(dá)offset超過1000的情況，發(fā)現(xiàn)頁面會不停的發(fā)送請求，但也無法獲取數(shù)據(jù)。

那應(yīng)該就是網(wǎng)站做了控制，不允許offset超過1000。

那么就要考慮其他構(gòu)造url的方法來抓取了。先觀察下每個(gè)請求返回的信息：

發(fā)現(xiàn)每個(gè)comment里都包含有一個(gè)time信息，把time做一下處理：

2019-02-13 13:38:00##感覺韓朵朵這個(gè)人設(shè)是多余的
2019-02-13 13:38:00##真的感動 非常棒
2019-02-13 13:38:00##這電影大陸的起航
2019-02-13 13:38:00##不怎么樣，劇情挺感人，但是有點(diǎn)尷尬
2019-02-13 13:37:00##好看。。。。。。。。。。
2019-02-13 13:37:00##超級超級超級超級超級超級超級好看
2019-02-13 13:37:00##太牛逼了，中國科幻片可有一部能看的了。支持吳京
2019-02-13 13:36:00##不錯！中國科幻的希望
2019-02-13 13:36:00##中國里程碑式的科幻電影。
2019-02-13 13:36:00##什么垃圾座位沒人管的么亂坐的

可以發(fā)現(xiàn)后臺是按照時(shí)間順序的，每分鐘一個(gè)間隔，那么就可以考慮根據(jù)每次返回comment中的時(shí)間來更新url中的ts即可。

由于不確定每次請求返回的數(shù)據(jù)中包含了多長的時(shí)間段，且返回的第一個(gè)評論時(shí)間戳與第二個(gè)評論是不同的，所以抓取思路如下：

獲取請求數(shù)據(jù)

記錄第一個(gè)時(shí)間戳

記錄第二個(gè)時(shí)間戳

當(dāng)遇到第三個(gè)時(shí)間戳?xí)r，將ts設(shè)置為第二個(gè)時(shí)間戳，重新構(gòu)造url

如果單次抓取中每遇到第三個(gè)時(shí)間戳，則通過修改offset來繼續(xù)抓取，直到遇到第三個(gè)時(shí)間戳

根據(jù)上面思路，實(shí)現(xiàn)相對就比較簡單了：

生成url

def get_url():
    global offset
    url = "http://m.maoyan.com/review/v2/comments.json?movieId=" + movieId + "&userId=-1&offset=" + str(
        offset) + "&limit=" + str(limit) + "&ts=" + str(ts) + "&type=3"
    return url

訪問url

def open_url(url):
    global ua
    try:
        headers = {"User-Agent": ua.random}
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        else:
            return None
    except Exception as e:
        print(e)
        return None

數(shù)據(jù)處理：將評論保存并判斷是否要繼續(xù)抓取

def parse_json(data):
    global count
    global offset
    global limit
    global ts
    ts_duration = ts
    res = json.loads(data)
    comments = res["data"]["comments"]
    for comment in comments:
        comment_time = comment["time"]
        if ts == 0:
            ts = comment_time
            ts_duration = comment_time
        if comment_time != ts and ts == ts_duration:
            ts_duration = comment_time
        if comment_time !=ts_duration:
            ts = ts_duration
            offset = 0
            return get_url()
        else:
            content = comment["content"].strip().replace("
", "。")
            print("get comment " + str(count))
            count += 1
            write_txt(time.strftime("%Y-%m-%d %H:%M:%S",time.localtime(comment_time/1000)) + "##" + content + "
")
    if res["paging"]["hasMore"]:
        offset += limit
        return get_url()
    else:
        return None

最后一共抓取評論131106條，足夠做各種分析了

2019-02-13 18:13:11,625 - get_comments.py[line:78] - INFO: get comment 131104
2019-02-13 18:13:11,729 - get_comments.py[line:78] - INFO: get comment 131105
2019-02-13 18:13:11,827 - get_comments.py[line:78] - INFO: get comment 131106
2019-02-13 18:13:15,416 - get_comments.py[line:98] - INFO: end

前面我們再抓取時(shí)，將評論的時(shí)間和內(nèi)容通過csv的格式保存下來，并使用;分割。讀取csv文件并統(tǒng)計(jì)處理就要用到大名鼎鼎的pandas了。

讀取數(shù)據(jù)

pandas提供read_csv方法來直接獨(dú)處數(shù)據(jù)保存為DateFrame格式。

df = pd.read_csv("comment.csv", sep=";", header=None)

設(shè)置數(shù)據(jù)列名

由于我們知道數(shù)據(jù)有兩列，先通過這只列名可以方便后續(xù)引用。

df.columns = ["date", "comment"]

時(shí)間日期處理

在date列，我們保存的數(shù)據(jù)格式是string，需要把轉(zhuǎn)換為日期格式才能進(jìn)一步處理。

df["date"] = pd.to_datetime(df["date"])

我們需要按時(shí)間來統(tǒng)計(jì)，所以把date列設(shè)置為index:

df = df.set_index("date")

日期篩選

由于我們知道《流浪地球》是2月5日上映的，我們可以對日期進(jìn)行限定，以免出現(xiàn)有些在上映前的評論，會占用大段的空白情況。

設(shè)置index之后，可以參考list類型操作，由于時(shí)間是倒序的，所以可以直接使用[:"2019-02-04"]來選取2月4日之后到今天的所有數(shù)據(jù)。pandas在數(shù)據(jù)篩選方面相當(dāng)智能，按照datetime的格式直接篩選即可。

cacu_df = df[:"2019-02-04"]

按日期進(jìn)行數(shù)量統(tǒng)計(jì)

pandas中，通過resample方法進(jìn)行重新采樣，通過傳入rule參數(shù)就可以按需要的頻率獲取數(shù)據(jù)，獲得一個(gè)resampler對象。

DataFrame.resample(rule, how=None, axis=0, fill_method=None, closed=None, label=None, convention="start", kind=None, loffset=None, limit=None, base=0, on=None, level=None)

resampler對象提供了很多的統(tǒng)計(jì)方法，比如匯總求和可使用Resampler.count()。

# 按日統(tǒng)計(jì)數(shù)量
cacu = cacu_df.resample("D").count()

這樣就完成了按日期求和統(tǒng)計(jì)操作。

繪圖

畫圖需要使用matplotlib庫，通過導(dǎo)入該庫，可直接對DateFrame對象進(jìn)行畫圖處理。畫圖及圖表格式化如下：

# 設(shè)置中文字體
font = FontProperties(fname="/System/Library/Fonts/PingFang.ttc")
plt.plot(cacu)
plt.title("流浪地球評論分析", fontproperties=font)
plt.xlabel("日期", fontproperties=font)
plt.ylabel("評論數(shù)", fontproperties=font)
plt.axis("tight")
# 顯示網(wǎng)格
plt.grid(True)
# 自動旋轉(zhuǎn)橫軸日期
plt.gcf().autofmt_xdate()
# 顯示數(shù)值
for a, b in zip(cacu.index, cacu.values):
plt.text(a, b, str(b[0]))
# 保存圖片
plt.savefig("comment_analysis.png")
# 查看圖片
plt.show()

分析結(jié)果

結(jié)果如下：

可見從上映之后，關(guān)注度直線飆升，到2月10日之后（上映5天），大家關(guān)注度逐漸下降。其中2月14日為情人節(jié)，大家的關(guān)注又有了小幅的上升。也許很多人在這天通過看《流浪地球》過節(jié)吧。

數(shù)據(jù)清洗

首先由于評論是用戶發(fā)表的，可能什么字符都會有，要先把一些特殊符號去掉，這里就用到了正則替換：

msg = re.sub("[s+.!/_,$%^*()+""?]+|[+——！，。？、~@#￥%……&*（）【】；：]+|[.+]|［.+］", "", line)

分詞與標(biāo)簽

清洗后的數(shù)據(jù)，可以使用jieba分詞包來進(jìn)行分詞，并把所有的分詞保存在一個(gè)list中，然后計(jì)算出每個(gè)分詞出現(xiàn)的次數(shù)。

# 分詞
tags = jieba.analyse.extract_tags(msg)
for t in tags:
    word_list.append(t)
# 計(jì)算詞頻
for word in word_list:
    if word not in word_dict:
        word_dict[word] = 1
    else:
        word_dict[word] += 1

生成詞云

使用wordcloud包，就可以很方便的生成詞云圖片了。

先新建一個(gè)WordCloud對象，進(jìn)行配置，然后利用前面的分詞詞頻就可以生成對應(yīng)的圖片了。

# 計(jì)算圖片顏色
alice_coloring = np.array(img)
my_wordcloud = WordCloud(background_color="white",
                             max_words=500, mask=alice_coloring,
                             max_font_size=200, random_state=42,
                             font_path=(os.path.join(d, "font/msyh.ttf")))
                             
my_wordcloud = my_wordcloud.generate_from_frequencies(wordList)

這里需要注意的是：

mask=alice_coloring：這里通過numpy將圖片矩陣化，來獲取圖片的顏色作為WordCloud的mask，是為了最后生成的圖云不僅外形與我們輸入的圖片保持一致，而且整體顏色也保持一致。

輸入的原圖，背景色需要設(shè)置為白色而不是透明色，否則會全屏幕都是字。。。

對于中文的詞云，需要制定中文的字體，這里用的是微軟雅黑

保存圖片

最后使用matplotlib.pyplot來保存圖片，保存前要進(jìn)行圖片屬性的一些設(shè)置。

width = img.width/80
height = img.height/80
plt.figure(figsize=(width, height))
plt.imshow(my_wordcloud.recolor(color_func=image_colors))
plt.imshow(my_wordcloud)
plt.axis("off")
# 通過設(shè)置subplots_adjust來控制畫面外邊框
plt.subplots_adjust(bottom=.01, top=.99, left=.01, right=.99)
plt.savefig("jupiter_wordcloud_1.png")
plt.show()

這里需要注意的是： 建議根據(jù)原圖片的長寬比例進(jìn)行一定的縮小，以免生成的圖片像素過大而產(chǎn)生報(bào)錯。

ValueError: Image size of 98400x46500 pixels is too large. It must be less than 2^16 in each direction.

詞云展示

放一張?jiān)瓐D，你能看的出來嘛，摳圖技術(shù)有限O(∩_∩)O哈哈~

以上就是使用抓取的評論生成詞云的大致思路，完成的實(shí)現(xiàn)代碼請見：https://github.com/keejo125/w...

如果有更好的方法，歡迎一起探討。