資訊專欄INFORMATION COLUMN
摘要：項目的主要運行部分，采集器驗證器打分檢測等功能實現(xiàn)的模塊。在中可以配置異步的并發(fā)量等來控制驗證器。調(diào)用有了穩(wěn)定的高分代理數(shù)據(jù)，那么就可以掛起一個為我們的爬蟲保駕護航，這一部分可以多帶帶拿出來編寫，使用其他框架之類的都是不錯的選擇。
FooProxy
穩(wěn)健高效的評分制 IP代理池 + API服務(wù)提供，可以自己插入采集器進行代理IP的爬取，支持 MongoDB 4.0 使用 Python3.7
github 地址: FooProxy背景
因為平時爬取某些網(wǎng)站數(shù)據(jù)時，經(jīng)常被封IP，同時網(wǎng)上很多的接口又不方便，免費的也少，穩(wěn)定的更少，所以自己寫了一個評分制的ip代理API進行爬蟲的供給.
起初對MySQL和MongoDB進行了兼容的編寫，后來發(fā)現(xiàn)在高并發(fā)的情況下，MySQL并不能很好的讀寫數(shù)據(jù)，經(jīng)常莫名其妙的出現(xiàn)死機、讀寫巨慢、緩執(zhí)行等各種奇葩現(xiàn)象，對比MongoDB高效的數(shù)據(jù)文檔讀寫，最終還是放棄了mysql的兼容。(dev分支保留了對mysql的部分支持，如爬取評分)
開發(fā)環(huán)境
PyCharm 2018.2.4 (Professional Edition)
Python 3.7
MongoDB 4.0
Windows 7 64bits
需安裝的庫
pymongo
aiohttp
flask
requests
bs4
lxml
項目目錄基本流程APIserver
一個簡單的代理API接口服務(wù)器，使用Flask實現(xiàn)，可以自己按需求寫路由邏輯。這部分當(dāng)然可以獨立出來寫，只是集成寫在了項目里面。
components
項目的主要運行部分，采集器、驗證器、打分檢測等功能實現(xiàn)的模塊。
config
其中的DBsettings是數(shù)據(jù)庫的設(shè)置，用戶名密碼之類的，以及存儲的數(shù)據(jù)庫名，還有備用有效數(shù)據(jù)庫(standby)的自定義名字和高分穩(wěn)定數(shù)據(jù)庫(stable)的自定義名字。config文件是整個項目的主要參數(shù)配置，可以設(shè)置采集器采集間隔、驗證器的抓取驗證數(shù)量間隔和協(xié)程并發(fā)極值等。
const
項目的靜態(tài)配置，一般不用動的設(shè)置參數(shù)
custom
自定義模塊，可以編寫自己要增加的爬蟲采集函數(shù)到采集器中進行數(shù)據(jù)采集
log
項目日志記錄模塊配置以及日志
tools
一些工具函數(shù)
main.py
項目入口文件
整個項目的流程其實很簡單，采集數(shù)據(jù)模塊主要是編寫代理網(wǎng)站的爬蟲，可以進行任意的爬蟲增減
采集數(shù)據(jù)
驗證數(shù)據(jù)
打分存儲
循環(huán)檢測
擇優(yōu)剔劣
API調(diào)用
流程圖：
1.采集數(shù)據(jù)(Collector)
采集器進程是一個周期循環(huán)，使用了多線程對每一個代理網(wǎng)站進行數(shù)據(jù)采集，即：一個代理網(wǎng)站爬蟲一個線程。因為沒有數(shù)據(jù)共享，這里沒有GPL。項目內(nèi)置了兩個代理數(shù)據(jù)采集爬蟲，一個是個人網(wǎng)站的nyloner,一個是66ip代理網(wǎng)站的爬蟲(在crawlers.py文件中)，如果想要增加代理爬蟲，可以自己在custom目錄下的custom.py文件中進行增加刪減，只需要保證你的爬蟲返回的結(jié)果數(shù)據(jù)結(jié)構(gòu)和要求的一致就好。如下:
def some_crawler_func():
"""
自己定義的一個采集爬蟲
約定：
1.無參數(shù)傳入
2.返回格式是：[":",":",...]
3.寫完把函數(shù)名加入下面的my_crawlers列表中，如
my_crawlers = [some_crawler_func,...]
"""
pass
my_crawlers = []
一個數(shù)據(jù)采集爬蟲函數(shù)就是一個采集器，寫完函數(shù)在my_crawlers中加進去就可以。在config中設(shè)置一個周期時間，就可以讓爬蟲定期采集更新數(shù)據(jù)。
在采集的過程中，如果出現(xiàn)采集器爬蟲被封IP，可以通過自己的APIserver請求代理，然后再繼續(xù)采集，這一部分沒有寫，不過可以實現(xiàn)
2.驗證數(shù)據(jù)(Validator)
采集器進程和驗證器進程共享一個變量:proxyList，是一個MultiProcessing.Manger.List對象?？梢栽诙噙M程中
保持共享數(shù)據(jù)的同步(理論上)，采集器定期采集的代理數(shù)據(jù)可以通過proxyList實時的傳遞給驗證器進行有效性驗證，因為采集器一次傳遞的數(shù)據(jù)比較多，所以驗證器使用異步驗證，能大大提高效率，具體使用自帶的asyncio實現(xiàn)的.
驗證器實現(xiàn)基本上也是調(diào)用了一個驗證api來判斷代理的有效性，可以自己更換api實現(xiàn)，可在validator.py中詳細(xì)了解。在config中可以配置異步的并發(fā)量等來控制驗證器。
3.打分存儲(Rator)
打分器進程主要是與驗證器配合，當(dāng)采集器采集的數(shù)據(jù)經(jīng)過驗證器驗證后，確定有效，則讓打分器進行評分，中間可以加入自定義數(shù)據(jù)處理模塊，打分后直接存儲在standby數(shù)據(jù)庫，而后供本地檢測器進行周期檢測，打分器也是一個周期循環(huán)，不斷的對代理數(shù)據(jù)進行更新補充。內(nèi)置在驗證器與掃描器中。打分器主要的三個函數(shù):mark_success,mark_fail,mark_update.
mark_success 對采集器傳遞給驗證器的代理數(shù)據(jù)，驗證成功后進行一次性的評分并且存儲
mark_fail 對驗證器進行驗證，代理無效的數(shù)據(jù)進行失敗打分處理(達到刪除條件則刪除，否則扣分更新數(shù)據(jù)庫)
mark_update 對非初次打分的代理數(shù)據(jù)進行更新，即驗證有效的數(shù)據(jù)再次驗證時仍有效，則進行加分之類的數(shù)據(jù)庫更新
具體的評分步驟在下面會詳細(xì)說明，不過還有很大的提升空間，只是初步試了一下。
4.循環(huán)掃描(Scanner)
當(dāng)驗證器的有效數(shù)據(jù)經(jīng)過打分器存進本地standby數(shù)據(jù)庫中后，怎么保證這一次存進去的數(shù)據(jù)以后能保證調(diào)用時仍可用呢？使用掃描器周期循環(huán)檢測！掃描器會在你給定的掃描周期間隔不斷地對本地standby數(shù)據(jù)庫進行掃描驗證，無效的數(shù)據(jù)則直接刪除，有效的數(shù)據(jù)會對其得分、響應(yīng)時間、驗證時間等字段進行及時的更新，保證代理數(shù)據(jù)的實時有效。
在掃描器內(nèi)部其實也是有一個驗證函數(shù)來進行掃描驗證。詳見scanner.py
5.擇優(yōu)剔劣(Detector)
存儲在standby數(shù)據(jù)庫中的數(shù)據(jù)經(jīng)過掃描器的掃描檢測，可以保證其有效性，當(dāng)是如果想要穩(wěn)定的代理供給APIserver，那么必須有一個檢測器來進行挑揀代理，Detector會周期性的進行掃描standby和stable兩個數(shù)據(jù)庫，對其中符合高分穩(wěn)定條件的代理存進stable數(shù)據(jù)庫，對失效的高分代理進行剔除，這些都可以在config中進行自定義配置高分穩(wěn)定條件。如：
#采集器采集數(shù)據(jù)時間間隔,單位：秒 COLLECT_TIME_GAP = 3600*1 #驗證器的最大并發(fā)量 CONCURRENCY = 100 #驗證器一次取出多少條 抓取的 代理進行驗證 VALIDATE_AMOUNT = 500 #驗證器驗證抓取數(shù)據(jù)頻率 ： 秒/次 VALIDATE_F = 5 #驗證器請求超時重試次數(shù) VALIDATE_RETRY = 5 #掃描器的最大并發(fā)協(xié)程數(shù)量 COROUTINE_MAX = 300 #掃描器一次取出多少條 本地庫 的代理進行驗證 LOCAL_AMOUNT = 500 #掃描器驗證本地庫頻率 ： 秒/次 VALIDATE_LOCAL = 60*1 #檢測器檢測數(shù)據(jù)庫的頻率: 秒/次 DETECT_LOCAL = 60*1 #檢測器一次取出多少條有效庫的代理進行篩選 DETECT_AMOUNT = 1000 #檢測器一次取出多少條高分穩(wěn)定數(shù)據(jù)庫的代理進行檢測 DETECT_HIGH_AMOUNT = 1000 #高分穩(wěn)定數(shù)據(jù)庫代理數(shù)據(jù)連續(xù)多少次無效則從穩(wěn)定數(shù)據(jù)庫中剔除 DELETE_COMBO = 30 #代理IP成功率的最低要求,低于此要求均刪除,100次周期測試 0.2=20% MIN_SUCCESS_RATE = 0.2 #有效代理數(shù)據(jù)庫數(shù)據(jù)轉(zhuǎn)至高分穩(wěn)定數(shù)據(jù)庫的成功率最低要求 0.8=80% #以及測試總數(shù)的最低要求 STABLE_MIN_RATE = 0.8500 STABLE_MIN_COUNT = 100
因為是對本地數(shù)據(jù)庫的io操作，使用了異步asyncio可以大大提高效率。
6.API調(diào)用(APIserver)
有了穩(wěn)定的高分代理數(shù)據(jù)，那么就可以掛起一個api server為我們的爬蟲保駕護航，這一部分可以多帶帶拿出來編寫，使用其他框架django之類的都是不錯的選擇。項目里只是為了演示使用，使用Flask進行了簡單的路由設(shè)置，因為測試爬蟲在本機，所以使用了下面幾個api而已，具體可以自己擴展。
