資訊專欄INFORMATION COLUMN
摘要：但是半年來，養(yǎng)成積極幫助他人的習慣后，我發(fā)現(xiàn)自己不知不覺也跨過了聲望的門檻。總之，這兩個因素讓我決定爬一爬自己通過回答得到的聲望。有的操作可能被用戶取消，但仍保留在聲望記錄上?？磥硗ㄟ^文章，尤其是翻譯文章，得到的聲望占的水分挺大的。
起因
我注冊SegmentFault賬號是在2016年12月，但是正式開始參與社區(qū)貢獻是2017年9月。那時候我剛剛畢業(yè)，參加工作。到現(xiàn)在已經(jīng)半年了。
當時只是想著幫助別人，并且通過別人提出的問題和回答來積累自己實際經(jīng)驗。畢竟靠每天工作得到的項目經(jīng)驗太少了，個人成長實在有限。
以前覺得1000聲望很難得，更不用說能上排行榜的5位數(shù)聲望了。但是半年來，養(yǎng)成積極幫助他人的習慣后，我發(fā)現(xiàn)自己不知不覺也跨過了1000聲望的門檻。從個人角度來講，我想做點事情來紀念一下。
上周，我翻譯了一篇關(guān)于react-vis的文章。而我想起以前一直對爬蟲很感興趣，當然現(xiàn)在沒興趣了?？傊?，這兩個因素讓我決定爬一爬自己通過回答得到的聲望。沒有文章被贊，沒有文章被收藏等聲望，就是單純的，回答、回答被贊和回答被采納。
實現(xiàn)過程要實現(xiàn)這個項目，需要先分解需求，然后選取技術(shù)棧，最后發(fā)布。
分解需求爬取SF頁面
將得到的數(shù)據(jù)存入json，放在gitpage上
利用fetch api獲取該json
根據(jù)得到的數(shù)據(jù)使用react-vis生成柱形圖，x軸為時間，y軸為聲望數(shù)，每一個x點分別有3個長方形，代表問答、被贊和被采納。
技術(shù)棧node-crawel + cheerio：解決需求1
react + react-vis：解決需求3、4
jest：測試代碼單元
json存儲格式{
answer:{
"2018-3-20":1
},
answerBeHonored:{
"2018-3-20":10
},
answerBeAdopted:{
"2018-3-20":15
}
}
關(guān)鍵思路
需要將SF聲望記錄里的x小時、x天前轉(zhuǎn)成格式為yyyy-MM-dd。這個只需要判斷不同情況，然后根據(jù)當天減去每天的毫秒數(shù)或每小時的毫秒數(shù)得到的毫秒數(shù)生成一個Date對象。然后再轉(zhuǎn)換格式。
有的操作可能被用戶取消，但仍保留在聲望記錄上。這時要通過判斷是否存在[已取消]來跳過處理。
利用react-vis生成柱形圖時，x坐標軸的類型要設(shè)置為oridinary。
效果展示最終效果
最后算了一下大概553點聲望來自問答?？磥硗ㄟ^文章，尤其是翻譯文章，得到的聲望占的水分挺大的。
我不了解Node.js，之前沒聽說過node-crawel，所以純粹是一時興起嘗試了一下，有一些坑，但最終還是解決了。滿打滿算一共是花了4.5小時，主要是嘗試使用crawel以及測試各單元功能。
爬蟲的代碼不打算開源，一是因為很簡單，照著教程寫沒什么問題。二是覺得爬蟲這個東西或多或少有點危害？姑且算是我不開源的理由之一吧。
大概就是這樣了，還是很感慨能夠跨入1000聲望呢，下一個目標大概是5000聲望，繼續(xù)努力吧。
參考文章使用node-crawler和jsdom完成爬蟲
Node Crawler：強大的Node開源爬蟲
react-vis：一個數(shù)據(jù)可視化庫
react-vis文檔
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/52036.html
摘要：跟年一樣，年也給自己定下了一個任務(wù)，就是在得到每天聽本書聽本以上，至少訂閱一個以上的大小專欄并完成學習如圖，這個小任務(wù)，今年算是完成了。 跟2017年一樣，2018年也給自己定下了一個任務(wù)，就是在得到《每天聽本書》聽 300 本以上，至少訂閱一個以上的大小專欄并完成學習！ showImg(https://segmentfault.com/img/bVblSBq?w=750&h=1334...
摘要：正則模塊使語言擁有全部的正則表達式功能。函數(shù)根據(jù)一個模式字符串和可選的標志參數(shù)生成一個正則表達式對象。該對象擁有一系列方法用于正則表達式匹配和替換。表示或者匹配項未找到匹配項匹配項未找到匹配項 正則 re = regular experssionre 模塊使 Python 語言擁有全部的正則表達式功能。 compile 函數(shù)根據(jù)一個模式字符串和可選的標志參數(shù)生成一個正則表達式對象。該對...
閱讀 902·2021-10-27 14:19
閱讀 1120·2021-10-15 09:42
閱讀 1545·2021-09-14 18:02
閱讀 753·2019-08-30 13:09
閱讀 3000·2019-08-29 15:08
閱讀 2101·2019-08-28 18:05
閱讀 964·2019-08-26 10:25
閱讀 2795·2019-08-23 16:28
