Java爬蟲快速開發(fā)工具：uncs

AWang 發(fā)布于2019-08-16 14:29 / 2901人閱讀

摘要：零寫在前面是快速開發(fā)爬蟲的工具，簡單便捷，經(jīng)過大量版本迭代和生產(chǎn)驗證，可以適用大多數(shù)網(wǎng)站，歡迎使用。服務(wù)最終處理內(nèi)容，無論成功失敗都會執(zhí)行的步驟。

零：寫在前面

uncs是java快速開發(fā)爬蟲的工具，簡單便捷，經(jīng)過大量版本迭代和生產(chǎn)驗證，可以適用大多數(shù)網(wǎng)站，歡迎使用。

一：基本用法

開發(fā)包獲取
目前只能在公司內(nèi)網(wǎng)maven服務(wù)器獲取到

     
        com.cdc
        uncs
        3.0.0.6

開發(fā)單步流程

步驟一

java
package com.cdc.uncs.service.parts;

import com.cdc.uncs.exception.UncsException;
import com.cdc.uncs.model.HttpCrawlInfo;
import com.cdc.uncs.model.TestRequest;
import com.cdc.uncs.model.TestResponse;
import com.cdc.uncs.service.NetCrawlPart;
import com.cdc.uncs.service.TransContext;

public class NetCrawlTestPart extends NetCrawlPart {

    @Override
    public void beforeCrawl(TransContext context, HttpCrawlInfo crawlInfo, String crawlId, String type) throws UncsException {
        String url = "http://www.baidu.com";
        crawlInfo.setUrl(url);
    }

    @Override
    public void afterCrawl(TransContext context, HttpCrawlInfo crawlInfo, String crawlId, String type) throws UncsException {
        System.out.println(crawlInfo.getHttpCrawlResult());
    }
}

步驟二

package com.cdc.uncs.service.parts;

import com.cdc.uncs.exception.UncsException;
import com.cdc.uncs.model.HttpCrawlInfo;
import com.cdc.uncs.model.TestRequest;
import com.cdc.uncs.model.TestResponse;
import com.cdc.uncs.service.NetCrawlPart;
import com.cdc.uncs.service.TransContext;

public class NetCrawlTestPart2 extends NetCrawlPart {

    @Override
    public void beforeCrawl(TransContext context, HttpCrawlInfo crawlInfo, String crawlId, String type) throws UncsException {

        String url = "http://www.hao123.com";
        crawlInfo.setUrl(url);
    }

    @Override
    public void afterCrawl(TransContext context, HttpCrawlInfo crawlInfo, String crawlId, String type) throws UncsException {
        System.out.println(crawlInfo.getHttpCrawlResult());
    }
}

服務(wù)配置文件

uncsTestApplicationContext.xml

demo樣例

        // ----------------------系統(tǒng)啟動---------------------------
        // 用戶自定義的服務(wù)配置文件
        String xmlTest = "classpath*:uncsTestApplicationContext.xml";
        // 啟動uncs的初始化參數(shù)   redis:ip、port socks5:ip、port 項目縮寫 http代理 獲取http代理超時時間 代理類型
        InitParam param = new InitParam("127.0.0.1", 6379, "ss5.xx.com", 1080, "ct", "http://xxx", 3000, "no");
        // 啟動uncs  param:啟動參數(shù)  xmlTest...:服務(wù)配置文件，可以是多個
        UncsLancher.startUp(param, xmlTest);

        // ----------------------調(diào)用服務(wù)--------------------------
        // 定義上下文，貫穿整個服務(wù)
        TransContext transContext = TransContext.newInstance(TestRequest.class, TestResponse.class);
        // crawlId:單個爬取交易的唯一索引
        String crawlId = Long.toString(System.currentTimeMillis());
        // type:交易的類型，輔助參數(shù)，用戶自定義。例如爬取時可以把類型作為type，可以貫穿整個交易
        String type = "xxx";
        transContext.setCrawlId(crawlId);
        transContext.setType(type);
        // 服務(wù)名稱，對應(yīng)配置文件中uncs:crawl標(biāo)簽的id
        String serverName = "testService";
        // 開始執(zhí)行交易
        TestResponse response = UncsService.startService(serverName, transContext);

二：源碼url

svn地址：僅供公司內(nèi)部使用

三：約定

crawlId必輸，貫穿整個服務(wù)

流程內(nèi)的步驟實現(xiàn)類必須繼承相關(guān)父類

暫時必須使用redis為框架提供支持，以后會開發(fā)不需要redis的單機版本

四：設(shè)計思想

基于流程化的爬蟲開發(fā)框架，參數(shù)動態(tài)可配置化，可擴展。能不讓用戶關(guān)心的，就不需要用戶去考慮，屏蔽一切可以屏蔽的細(xì)節(jié).

五：配置詳解 5.1 crawl交易配置

uncs:crawl標(biāo)簽

attr：

id:唯一服務(wù)名，例:testService

browser:瀏覽器類型，枚舉:Chrome51(chrome瀏覽器),IE9,IE8,FIREFOX,DEFAULT，默認(rèn)是chrome瀏覽器，設(shè)置這個屬性，代碼就不需要設(shè)置http header的user-agent了

poolSize:服務(wù)運行時線程池大小即這個服務(wù)支持的并發(fā)大小，如果不設(shè)置，則使用公共的線程池

proxyType：代理類型，no-不使用代理 http:使用http代理 socks:socks5代理 default-http:默認(rèn)的http代理 default-socks:默認(rèn)的socks代理（兩個默認(rèn)的代理類型在初始化參數(shù)InitParam設(shè)置）

property:

uncs:list--流程列表，服務(wù)按順序執(zhí)行配置的實現(xiàn)類列表,list內(nèi)支持所有類型的part

uncs:finalPart--流程完成后，不管成功還是失敗，都會執(zhí)行的步驟

uncs:proxyService--擴展的代理服務(wù)，用戶可以自定義bean，來編寫自己的代理服務(wù)，當(dāng)uncs:crawl的attr-proxyType設(shè)置為http或socks時，系統(tǒng)會加載這個標(biāo)簽的代理服務(wù)，詳細(xì)參考“代理配置及使用”章節(jié)

5.2 part

所有模板步驟的父類，空模板，可以自由發(fā)揮

步驟：建立java類-->繼承com.cdc.uncs.service.Part-->重寫work方法-->配置文件

當(dāng)這個步驟可能不需要執(zhí)行時，重新isPassPart方法，返回true即跳過，所有子類模板都有這個步驟

對應(yīng)配置文件標(biāo)簽:uncs:part class--實現(xiàn)類 desc--步驟名稱，不填默認(rèn)為類名簡寫

5.3 netCrawlPart

網(wǎng)絡(luò)爬取步驟模板，用戶使用此模板就不用關(guān)心httpclient如何使用了

步驟：建立java類-->繼承com.cdc.uncs.service.NetCrawlPart-->重寫beforeCrawl和afterCrawl方法-->配置文件
beforeCrawl：爬取前組裝http請求參數(shù)

設(shè)置方法內(nèi)參數(shù)HttpCrawlInfo crawlInfo,來改變請求內(nèi)容

屬性名(-)	詳細(xì)(-)
method	post/get
mineType	img-圖片 json-暫不支持 html-文本
httpParamType	form-表單 string-純字符串
url	爬取的url
referer	來源頁
charset	編碼，默認(rèn)是utf-8
isRelocal	是否自動跳轉(zhuǎn)
params	表單參數(shù)
stringParam	當(dāng)httpParamType為string時，才生效
headerParam	http header參數(shù)，支持Map方法和一個一個設(shè)置的方法，常用的header支持便捷設(shè)置方法，user-agent可以不設(shè)置，cookie不需要設(shè)置
httpCrawlResult/httpCrawlImgResult	用于保存返回結(jié)果
cookies	可以手工設(shè)置cookie
relocalList	當(dāng)isRelocal為true時，頁面跳轉(zhuǎn)流程會在這保存
proxyService	可以多帶帶某個步驟設(shè)置代理
isNetErrThrow	發(fā)生網(wǎng)絡(luò)錯誤時，是否拋出異常，默認(rèn)不拋
isLogResponse	是否記錄返回日志
e	真正的異常對象
timeOut	單步超時時間
isJdkSafe	是否支持jdk1.7安全策略
tempInfo	臨時參數(shù)，用戶部分http交互參數(shù)設(shè)置
tempInfo.usedProxy	但步驟代理策略
tempInfo.responseCode	http返回碼
tempInfo.proxyParam	代理服務(wù)的參數(shù)
tempInfo.httpRetryMaxTimes	失敗后最大的重試次數(shù)
tempInfo.sslVersion	指定ssl協(xié)議版本號
tempInfo.clearCookie	是否清空cookie
tempInfo.poolEntityAliveTime	http池化，每個鏈接存活時間
tempInfo.poolSize	http池化，池大小

afterCrawl：爬取后解析返回結(jié)果

HttpCrawlInfo crawlInfo.getHttpCrawlResult和getHttpCrawlImgResult獲取返回結(jié)果

對應(yīng)配置文件標(biāo)簽，uncs:netCrawlPart，class--實現(xiàn)類 desc--步驟名稱，不填默認(rèn)為類名簡寫
示例：

java

package xxx;

import xxx;

/**
 * 加載查詢
 */
public class FlowQueryPart extends NetCrawlPart {

    @Override
    public void beforeCrawl(TransContext context, HttpCrawlInfo crawlInfo, String s, String s1) throws UncsException {
        String url = (String) context.getTempParamValue(ParamKey.XXX);
        String referer = (String) context.getTempParamValue(ParamKey.REFXXX);
        
        crawlInfo.addAccept("text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
        crawlInfo.addAcceptEncoding("gzip, deflate, sdch");
        crawlInfo.addAcceptLanguage("zh-CN,zh;q=0.8");
        crawlInfo.addConnection("keep-alive");
        crawlInfo.addHost("XXX.com");

        crawlInfo.addParam("query", "true");
        crawlInfo.addParam("q_from_date",  (String) context.getTempParamValue(ParamKey.BEGIN_DATE));
        crawlInfo.addParam("q_to_date", (String) context.getTempParamValue(ParamKey.END_DATE));

        crawlInfo.setCharset(CoreConstant.CHARSET);
        crawlInfo.setMineType(MineType.HTML);
        crawlInfo.setMethod(HttpMethod.GET);
        crawlInfo.setUrl(url);
        crawlInfo.setReferer(referer);

        context.addTempParam(ParamKey.NEXT_REFERER, url);

    }

    @Override
    public void afterCrawl(TransContext context, HttpCrawlInfo crawlInfo, String crawlId, String bankCode) throws UncsException {
        String result = crawlInfo.getHttpCrawlResult();
        if(Strings.isNullOrEmpty(result)) {
            throw new SystemUncsException("網(wǎng)頁加載錯誤", ErrorCode.XXX);
        }
    }
}

5.4 loopPart

循環(huán)步驟模板，已經(jīng)過時的模板，被complexLoopPart復(fù)雜循環(huán)步驟模板替換，不再維護，可以使用，可能存在一些BUG，只支持單步驟循環(huán)

5.5 switchPart

選擇步驟模板，類似java的switch，支持根據(jù)不同場景走不同分支步驟
場景舉例：某網(wǎng)站爬取時，需要根據(jù)歸屬地省份的不同走不同的分支爬取
配置樣例：

代碼樣例：

package xxxx;
import xxxx;

public class ChooseKeyTestPart extends ChooseKeyPart {

    @Override
    public boolean isPassPart(TransContext context) {
        // 不需要發(fā)送網(wǎng)絡(luò)請求在這實現(xiàn)
        chooseKey("bj");
        return true;
    }

    @Override
    public void beforeCrawl(TransContext context, HttpCrawlInfo crawlInfo, String crawlId, String mobileType) throws UncsException {
        // 需要發(fā)送網(wǎng)絡(luò)請求來判斷的才需要實現(xiàn)
    }

    @Override
    public void afterCrawl(TransContext context, HttpCrawlInfo crawlInfo, String crawlId, String mobileType) throws UncsException {
    }
}

5.6 groupRetryPart

組重試步驟，可以實現(xiàn)整個步驟組重試，可設(shè)置最大重試次數(shù)，是否重試需要用戶根據(jù)實際場景調(diào)用重試方法。
場景舉例：識別圖片驗證碼成功率不是百分百，當(dāng)失敗時需要重新識別，重新驗證
配置樣例：

注：重試次數(shù)超過最大重試次數(shù)時，需要由用戶自行判斷是否需要拋異常，默認(rèn)不拋異常，流程正常執(zhí)行
代碼樣例：

@Override
    public void afterCrawl(TransContext context, HttpCrawlInfo crawlInfo, String crawlId, String bankCode) throws UncsException {

        String result = crawlInfo.getHttpCrawlResult();
        if(Strings.isNullOrEmpty(result)) {
            throw new SystemUncsException("網(wǎng)頁加載錯誤", ErrorCode.ERROR_3006);
        }
        // 校驗結(jié)果
        try {
            CCBBaseUtil.validateResult(result, crawlId, bankCode, this.getName(), log);
        } catch (UncsException e) {
            String code = e.getCode();
            if(ErrorCode.ERROR_0000.equals(code)) {
                // 驗證碼錯誤，重試
                // 驗證重試次數(shù)
                if(this.getGroupRetryCurrent(context) < this.getGroupRetryMax(context)) {
                    // 重試
                    retry();
                }else{
                    log.log(crawlId, this.getName(), bankCode, "圖片驗證碼超過最大重試次數(shù)");
                    throw new SystemUncsException("圖片驗證碼錯誤次數(shù)超限，請重試，并檢查", ErrorCode.ERROR_2002);
                }
            } else {
                throw e;
            }
        }
    }

5.7 complexLoopPart

復(fù)雜循環(huán)步驟模板，類似java的循環(huán)，即支持for循環(huán)也支持while循環(huán)，默認(rèn)是for循環(huán)，支持任何模板套用。
新增支持循環(huán)橫向并發(fā)
場景舉例：

for循環(huán)，爬取某網(wǎng)站數(shù)據(jù)時，按月份循環(huán)爬取為第一層循環(huán)，每個月類型的分頁為第二層循環(huán)
while循環(huán)，同for循環(huán)，區(qū)別在于銀行的分支只有下一頁，不知道總頁數(shù)

配置樣例：

代碼樣例:

    @Override
    public void beforeCrawl(TransContext context, HttpCrawlInfo crawlInfo, String crawlId, String mobileType) throws UncsException {

        // 獲取當(dāng)前循環(huán)次數(shù)
        this.getComplexLoopCurrent(context);
        getCookieValue(crawlId, "BAIDUID");
        String url = "http://www.baidu.com";
        crawlInfo.setUrl(url);
    }

    @Override
    public void afterCrawl(TransContext context, HttpCrawlInfo crawlInfo, String crawlId, String mobileType) throws UncsException {

        // 設(shè)置循環(huán)最大數(shù)次
        this.setComplexLoopMax(context, 5);
        System.out.println(crawlInfo.getHttpCrawlResult());
    }

注：循環(huán)內(nèi)部支持套用任何模板，但是只有循環(huán)內(nèi)所屬步驟才能操作循環(huán)的屬性（最大頁數(shù)、當(dāng)前頁數(shù)），循環(huán)內(nèi)循環(huán)的步驟無法跨級操作。

5.8 finalPart

服務(wù)最終處理內(nèi)容，無論成功失敗都會執(zhí)行的步驟。
場景舉例：爬取某網(wǎng)站后，為防止對登錄狀態(tài)進行判斷，需要在結(jié)束后退出登錄
配置樣例：

六：斷點

uncs支持程序斷點，即支持臨時中斷正在運行的服務(wù)，滿足某種場景時，可以重新啟動服務(wù)，服務(wù)會從中斷的步驟繼續(xù)執(zhí)行。
場景舉例：爬取某網(wǎng)站時，有時需要用戶輸入短信，此時需要人為參與，程序必須中斷，等用戶輸入短信后才可以繼續(xù)執(zhí)行
代碼示例:
中斷代碼

@Override
    public void afterCrawl(TransContext context, HttpCrawlInfo crawlInfo, String crawlId, String mobileType) throws UncsException {
        // 中斷一下
        this.pauseNeedMsg();
        System.out.println(crawlInfo.getHttpCrawlResult());
    }

重新啟動服務(wù)

        // 重新啟動服務(wù)
        String msgCode = "123456";
        TestResponse response1 = UncsService.restartService(crawlId, msgCode, null, TestResponse.class);

七：代理配置及使用

uncs支持http代理和socks5代理，支持用戶自定義代理獲取方式，也支持使用系統(tǒng)提供的代理方式，強擴展性。
代理配置方式一：

代理配置方式二：

package com.cdc.uncs.http.impl;

import com.cdc.uncs.http.IHttpProxy;
import com.cdc.uncs.http.ISocksProxy;
import com.cdc.uncs.util.HttpGreenHelper;
import org.apache.http.HttpHost;

import java.util.HashMap;
import java.util.Map;

/**
 * 默認(rèn)http代理
 */
public class TestHttpProxy extends IHttpProxy {
    private String ip;
    private Object testxxxxx;
    public TestHttpProxy() {
    }

    /**
     * 獲取crawlId
     *
     * @param cid           唯一標(biāo)識
     * @param type          類型
     * @param logServerName 日志標(biāo)識
     * @return
     */
    @Override
    public HttpHost getProxy(String cid, String type, String logServerName) {
        return new HttpHost(ip, 8888);
    }
    public String getIp() {
        return ip;
    }
    public void setIp(String ip) {
        this.ip = ip;
    }
    public Object getTestxxxxx() {
        return testxxxxx;
    }
    public void setTestxxxxx(Object testxxxxx) {
        this.testxxxxx = testxxxxx;
    }
}
代理配置方式三：可以在某個步驟多帶帶使用代理，參考《五-5.2 netCrawlPart》

八：日志配置及使用

uncs使用固定日志名，分為標(biāo)準(zhǔn)日志和uncs日志，標(biāo)準(zhǔn)日志是日志搜索系統(tǒng)要求的格式輸出，可以忽略，uncs日志表示業(yè)務(wù)日志
logback:



    ${log.base}/uncs%d{yyyy-MM-dd}.log
    
        
            ${log.base}/uncs.log.%d{yyyy-MM-dd}.log
        
    
    
        [%level] %date [%thread] - %msg%n
    


    ${log.base}/flow_standard%d{yyyy-MM-dd}.log
    
        
            ${log.base}/flow_standard%d{yyyy-MM-dd}.log
        
    
    
        %date{"yyyy-MM-dd,HH:mm:ss,SSS"}||%msg%n

九：異步化

提供異步化服務(wù)

// 異步啟動服務(wù)
UncsService.ayncStartService
// 獲取當(dāng)前服務(wù)狀態(tài)
UncsService.getResponse

十：版本升級歷史

詳見《uncs提交歷史.md》
當(dāng)前最新版本3.0.0.6

十一：未來猜想

優(yōu)化代碼質(zhì)量，完善http初始化部分代碼(優(yōu)化完畢)及cookie處理部分代碼（完成）

讓part持有context，這樣部分方法不再需要context參數(shù)（完成）

提供快速生成代碼工具

提供可視化工具，隨時查看某個crawlId對應(yīng)的狀態(tài)

集成各大優(yōu)秀的爬蟲框架，形成對應(yīng)模板

提供單機模式，可以選擇不使用redis，本地存儲

提供并發(fā)步驟模板，用于提高速度（完成）

十二：fiddler使用說明

1、升級版本到2.3.0.1-SNAPSHOT以上

2、vm參數(shù)-Duncs.useFidder=1

3、fiddler配置 tools->fiddler options->https->actions->export root certificate to ...

4、binkeytool.exe -import -file C:UsersDesktopFiddlerRoot.cer -keystore FiddlerKeystore -alias Fiddler

作者：劉鵬飛宜信技術(shù)學(xué)院

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/73030.html

發(fā)表評論

登陸后可評論

0條評論

AWang

男|高級講師

我要關(guān)注我要私信

TA的文章

爬蟲 + 自動化利器 selenium 之自學(xué)成才篇（二）

閱讀 2756·2021-10-09 09:44
[CSS]《CSS揭秘》第四章——視覺效果

閱讀 3561·2019-08-30 15:54
webpack手動構(gòu)建vue和vue-cli構(gòu)建使用 px2rem-loader ,全局自動轉(zhuǎn)換px

閱讀 2171·2019-08-30 14:16
微信小程序flex布局

閱讀 2803·2019-08-30 13:09
記錄最近的一些遇到的前端面試題

閱讀 835·2019-08-30 13:08
前端每日實戰(zhàn)：117# 視頻演示如何用純 CSS 創(chuàng)作一只憤怒小鳥中的紅火

閱讀 1295·2019-08-29 16:29
監(jiān)聽瀏覽器刷新及關(guān)閉

閱讀 1681·2019-08-26 13:57
ES6入門之對象的擴展

閱讀 1938·2019-08-26 13:53

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

Java爬蟲快速開發(fā)工具：uncs

相關(guān)文章

Beetl 快速入門

當(dāng)年玩耍httpclient

【微信小程序爬蟲】表情包小程序圖文視頻教學(xué)，從零寫起，保姆教程?。?！

python模塊之os.path

從零開始寫爬蟲

發(fā)表評論

0條評論

AWang

男|高級講師

TA的文章

爬蟲 + 自動化利器 selenium 之自學(xué)成才篇（二）

[CSS]《CSS揭秘》第四章——視覺效果

webpack手動構(gòu)建vue和vue-cli構(gòu)建使用 px2rem-loader ,全局自動轉(zhuǎn)換px

微信小程序flex布局

記錄最近的一些遇到的前端面試題

前端每日實戰(zhàn)：117# 視頻演示如何用純 CSS 創(chuàng)作一只憤怒小鳥中的紅火

監(jiān)聽瀏覽器刷新及關(guān)閉

ES6入門之對象的擴展

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

Java爬蟲快速開發(fā)工具：uncs

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！