資訊專欄INFORMATION COLUMN
摘要：如果你是個(gè)足球迷的話，估計(jì)或多或少都會(huì)看一下昨晚中國(guó)踢韓國(guó)的比賽，因?yàn)椴还芩麄兲叩迷鯓?，我們還是深愛(ài)著他們，那句話說(shuō)得好，國(guó)足虐我千百遍，我待國(guó)足如初戀。
如果你是個(gè)足球迷的話，估計(jì)或多或少都會(huì)看一下昨晚中國(guó)踢韓國(guó)的比賽，因?yàn)椴还芩麄兲叩迷鯓?，我們還是深愛(ài)著他們，那句話說(shuō)得好，“國(guó)足虐我千百遍，我待國(guó)足如初戀”。更何況他們兩場(chǎng)都踢贏了，所以面對(duì)第三場(chǎng)實(shí)力有點(diǎn)強(qiáng)的韓國(guó)隊(duì)也是希望能贏的，畢竟我們也在十二強(qiáng)賽上贏過(guò)他們！
如果你不是個(gè)足球迷，但你也可以看看，可以學(xué)習(xí)下如何去抓APP的數(shù)據(jù)。好了，廢話不多說(shuō)，開(kāi)始抓?。?/p> 1.抓包分析請(qǐng)求
手機(jī)抓包我們可以用 Fiddler 軟件來(lái)抓取，如果不懂怎樣抓的話，可以看看這篇文章抓包軟件?Fiddler?了解一下？
配置好之后，開(kāi)始抓包。
首先找到需要爬取的文章
懂球帝app截圖
文章鏈接為：https://m.dongqiudi.com/artic...
在配置好抓包之后，點(diǎn)擊下方的評(píng)論，可以看到
評(píng)論截圖
抓包截圖
很容易就找到文章評(píng)論的請(qǐng)求，就是下面這個(gè)
可以看到請(qǐng)求的鏈接為：https://api.dongqiudi.com/v2/...?，
請(qǐng)求方法為GET，接下來(lái)就好辦了，我們?cè)倏纯椿氯ゲ榭锤嗟脑u(píng)論的請(qǐng)求。
可以看到，向下翻頁(yè)多了兩個(gè)參數(shù)，不過(guò)容易知道，next?參數(shù)就是一個(gè)時(shí)間戳，而?pn?參數(shù)就是頁(yè)數(shù)吧，從?0?開(kāi)始的。
但是怎樣判斷所有評(píng)論已經(jīng)爬完了呢？我們可以看看數(shù)據(jù)的詳情，下面將 json 數(shù)據(jù)格式化，在下圖可以看到在 data 里面有下一頁(yè)的數(shù)據(jù)，那這就容易了，哈哈
分析了，接下來(lái)就是代碼部分了。
2.代碼部分這是主體部分，先從第一個(gè)評(píng)論鏈接中爬取評(píng)論以及找出下一頁(yè)的評(píng)論地址進(jìn)而繼續(xù)爬取。這里是把數(shù)據(jù)庫(kù)存進(jìn) mongodb 中。
主要的爬取邏輯，可以看出來(lái)是比較簡(jiǎn)單的，因?yàn)闆](méi)有涉及到什么加密參數(shù)之類的，但是有一個(gè)問(wèn)題，每一次進(jìn)行請(qǐng)求的時(shí)候，有時(shí)候是會(huì)返回帶有相同的評(píng)論的，所以我們也需要在數(shù)據(jù)庫(kù)簡(jiǎn)單地進(jìn)行去重。
下面是入庫(kù)和去重的代碼部分
剩下的就沒(méi)有了。
3.查看所得的數(shù)據(jù)由于數(shù)據(jù)分析還不熟悉，所以暫時(shí)只制作詞云圖。
需要先將數(shù)據(jù)寫(xiě)到文本上
詞云圖是：
可以看出，昨晚國(guó)足輸一場(chǎng)，也被很多人噴了，但是還是有很多人是一直支持的，永遠(yuǎn)都為國(guó)足加油，里面也說(shuō)到了，中國(guó)和韓國(guó)是有一定差距的，而且還有點(diǎn)大，輸了也正常不過(guò)了，沒(méi)必要噴，再說(shuō)我覺(jué)得昨晚的比賽已經(jīng)比第一場(chǎng)的比賽好很多(第二次沒(méi)看)，還是有進(jìn)步的，我對(duì)國(guó)足未來(lái)淘汰賽也是充滿期望的，我相信能走得更遠(yuǎn)！
下一場(chǎng) 踢泰國(guó)， 20號(hào)，有人看嗎？
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/43044.html
摘要：爆炸足球模仿懂球帝移動(dòng)端官網(wǎng)，歡迎各位老鐵地址技術(shù)棧前端后端通過(guò)設(shè)置代理的方式請(qǐng)求懂球帝官網(wǎng)獲取數(shù)據(jù)項(xiàng)目截圖安裝與運(yùn)行建議使用淘寶鏡像服務(wù)端運(yùn)行訪問(wèn)項(xiàng)目打包運(yùn)行打包后代碼有任何問(wèn)題可以在這里提，謝謝你的支持。歡迎各位老鐵，飛機(jī)票 Vue2-football—爆炸足球 模仿懂球帝移動(dòng)端官網(wǎng)，歡迎各位老鐵stargithub地址：https://github.com/vqlai/vue2....
摘要：前端日?qǐng)?bào)精選第期寫(xiě)給前端應(yīng)屆生的職業(yè)規(guī)劃建議應(yīng)用編譯優(yōu)化之路進(jìn)階篇命名空間模式解析源碼解析之任務(wù)管理入門教程快速上手聊聊改變歷史中文正式發(fā)布，帶來(lái)種新的圖表類型關(guān)系圖解好好寫(xiě)代碼吧使用手冊(cè)掘金發(fā)布在即將全面支持掘金仿懂球帝 2017-10-10 前端日?qǐng)?bào) 精選 【第1074期】寫(xiě)給前端應(yīng)屆生的職業(yè)規(guī)劃建議webpack 應(yīng)用編譯優(yōu)化之路JS進(jìn)階篇--命名空間模式解析gulp源碼解析之任...
摘要：立即咨詢產(chǎn)品文檔優(yōu)刻得上線了混合云自建機(jī)房火爆預(yù)售官方補(bǔ)貼活動(dòng)中針對(duì)混合云作了介紹，老劉博客本篇文章分享給大家有關(guān)產(chǎn)品優(yōu)勢(shì)架構(gòu)及與傳統(tǒng)自建私有云的對(duì)比。UCloud混合云UHybrid可提供豐富的IaaS和PaaS產(chǎn)品和專業(yè)的服務(wù)，整合UCloud公有云、托管云、私有云和客戶自有托管IDC等資源，重點(diǎn)解決存量IT資源合理利用，實(shí)現(xiàn)多云互聯(lián)互通，多區(qū)域靈活組網(wǎng)；滿足各個(gè)行業(yè)上云業(yè)務(wù)穩(wěn)定，平滑過(guò)...
閱讀 1616·2021-11-23 09:51
閱讀 1185·2019-08-30 13:57
閱讀 2268·2019-08-29 13:12
閱讀 2020·2019-08-26 13:57
閱讀 1205·2019-08-26 11:32
閱讀 983·2019-08-23 15:08
閱讀 710·2019-08-23 14:42
閱讀 3091·2019-08-23 11:41
