摘要：今天我就用爬取了一個(gè)斗圖網(wǎng)站上的所有表情包，用來(lái)充實(shí)自己的表情包庫(kù)。下載完所有圖片，總共有思路主要通過(guò)解析頁(yè)面的源代碼來(lái)獲取圖片的地址，然后通過(guò)圖片地址下載圖片到本地，所以要學(xué)會(huì)使用瀏覽器進(jìn)行分析。

跟朋友聊天總會(huì)用到大量表情包，有些人甚至專門(mén)收集各種各樣的表情包，看看誰(shuí)能打敗誰(shuí)。今天我就用java爬取了一個(gè)斗圖網(wǎng)站上的所有表情包，用來(lái)充實(shí)自己的表情包庫(kù)。代碼邏輯有可能并不完美，哈哈，也花了我?guī)讉€(gè)小時(shí)才完成呢。
下載完所有圖片，總共有225M.
思路：主要通過(guò)解析頁(yè)面的源代碼來(lái)獲取圖片的URL地址，然后通過(guò)圖片地址下載圖片到本地，所以要學(xué)會(huì)使用瀏覽器進(jìn)行分析。

所用jar包：jsoup-1.8.1.jar

網(wǎng)站首頁(yè)：https://doutushe.com/portal/index/index/p/1

瀏覽器：Chrome

    /**
     * 獲取網(wǎng)頁(yè)源代碼
     * @author Augustu
     * @param url 網(wǎng)頁(yè)地址
     * @param encoding 網(wǎng)頁(yè)編碼
     * @return    網(wǎng)頁(yè)源代碼
     */
    public static String getUrlResource(String url,String encoding) {
        //網(wǎng)頁(yè)源代碼，用String這個(gè)容器記錄
        String htmlResource = "";
        //記錄讀取網(wǎng)頁(yè)的每一行數(shù)據(jù)
        String temp = null;
        try {
            //1,找到網(wǎng)站地址
            URL theUrl = new URL(url);
            //2，建立起與網(wǎng)站的連接
            URLConnection urlConnection = theUrl.openConnection();
            //3,創(chuàng)建輸入流，此處讀取的是網(wǎng)頁(yè)的源代碼
            InputStreamReader isr = new InputStreamReader(urlConnection.getInputStream(),encoding);
            //4，對(duì)輸入流進(jìn)行緩沖，加快讀取速度
            BufferedReader reader = new BufferedReader(isr);
            //5，一行一行讀取源代碼，存到htmlResource中
            while((temp = reader.readLine()) != null) {
                htmlResource += temp;
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        return htmlResource;
    }

    /**
     * 獲取頁(yè)面所有組圖片的UrL地址
     * @author Augustu
     * @param context 每個(gè)頁(yè)面的urL
     * @return 獲取頁(yè)面所有組圖片的UrL地址
     */
    public static String findPictureUrl(String context) {
        String temp = "";//暫時(shí)存儲(chǔ)得到的每個(gè)url
        String pictureUrl = "";//得到所有URL
        //1，Jsoup將讀取的網(wǎng)頁(yè)源代碼解析為Html文檔，便可以使用Jsoup的方法操作html元素了，就像javascript一樣
        Document document = Jsoup.parse(context);
        //2，觀察網(wǎng)頁(yè)源代碼，發(fā)現(xiàn)每組圖片都連接到了另一個(gè)URL地址，這個(gè)a標(biāo)簽的class為“l(fā)ink-2”
        Elements groupUrl = document.getElementsByClass("link-2");
        //3,遍歷每個(gè)a標(biāo)簽，得到href
        for(Element ele: groupUrl) {
            //此處我發(fā)現(xiàn)每次Url都輸出兩次，也沒(méi)找到原因，就用此方法先解決他
            if(ele.attr("href") == temp) {
                continue;
            }
            temp = ele.attr("href");
            //4，將所有URL存入String中，并使用空格分開(kāi)，便于后面分割
            //本來(lái)我使用“|”分隔開(kāi)來(lái)，分割的結(jié)果竟然是每個(gè)字符都分開(kāi)了
            pictureUrl += "https://doutushe.com"+ele.attr("href")+" ";
        }
        return pictureUrl;
    }

    /**
     * 下載單張圖片
     * @param picturl 圖片地址
     * @param filePath    下載路徑
     * @param fileName    下載名
     */
    public static void downPicture(String picturl,String filePath,String fileName) {
        FileOutputStream fos = null;//輸出文件流
        BufferedOutputStream bos = null;//緩沖輸出
        File file = null;//創(chuàng)建文件對(duì)象
        File dir = new File(filePath);//創(chuàng)建文件保存目錄
        Connection.Response response;
        try {
            //1，Jsoup連接地址，得到響應(yīng)流，ignoreContentType表示忽略網(wǎng)頁(yè)類型，如果不加會(huì)報(bào)錯(cuò)（默認(rèn)只支持文本），因?yàn)槲覀冺?yè)面是圖片
            response = Jsoup.connect(picturl).ignoreContentType(true).execute();
            //2,將頁(yè)面內(nèi)容按字節(jié)輸出
            byte[] img = response.bodyAsBytes();
            //3，寫(xiě)入本地文件中
            //判斷文件目錄是否存在,
            if(!dir.exists() ){
                dir.mkdir();//創(chuàng)建文件夾
            }
            file = new File(filePath+""+fileName);//創(chuàng)建文件
            fos = new FileOutputStream(file);
            bos = new BufferedOutputStream(fos);
            bos.write(img);//寫(xiě)入本地
        } catch (IOException e) {
            e.printStackTrace();
        }finally{
            //4,釋放資源
            if(bos!=null){
                try {
                    bos.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
            if(fos!=null){
                try {
                    fos.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        
    }

    /**
     * 下載所有圖片
     * @author Augustu
     * @param pictureUrl 每組圖片url
     */
    public static void downallPicture(String pictureUrl,String downLoadPath) {
        String picturl = "";
        String pictureName ="";//
        String[] pictureUrlArry = pictureUrl.split(" ");//圖片組的url
        for(int i=0;i
5，主函數(shù)運(yùn)行代碼
    public static void main(String[] args) {
        String context = "";
        //觀察源代碼，發(fā)現(xiàn)共有28個(gè)頁(yè)面
        for(int i=1;i<=28;i++) {
            //獲取每個(gè)頁(yè)面
            context = getUrlResource("https://doutushe.com/portal/index/index/p/"+i+"","utf-8");
            //獲取該頁(yè)面所有組圖片的url
            String pictureUrl = findPictureUrl(context);
            downallPicture(pictureUrl,"E:image表情包");
        }
        
    }