摘要：目錄安裝，并下載依賴(lài)搭建服務(wù)請(qǐng)求我們要爬取的頁(yè)面，返回安裝我們開(kāi)始安裝，可以去官網(wǎng)下載下載地址，下載完成后運(yùn)行使用，安裝成功后會(huì)出現(xiàn)你所安裝的版本號(hào)。

周末自己在家閑著沒(méi)事，刷著微信，玩著手機(jī)，發(fā)現(xiàn)自己的微信頭像該換了，就去網(wǎng)上找了一下頭像，看著圖片，自己就想著作為一個(gè)碼農(nóng)，可以把這些圖片都爬取下來(lái)做成一個(gè)微信小程序，說(shuō)干就干，了解一下基本都知道怎么做了，整理分享一波給大家。

安裝node，并下載依賴(lài)

搭建服務(wù)

請(qǐng)求我們要爬取的頁(yè)面，返回json

安裝node
我們開(kāi)始安裝node，可以去node官網(wǎng)下載node下載地址，下載完成后運(yùn)行node使用，

   node -v

安裝成功后會(huì)出現(xiàn)你所安裝的版本號(hào)。

接下來(lái)我們使用node, 打印出hello world，新建一個(gè)名為index.js文件輸入
console.log("hello world")
運(yùn)行這個(gè)文件

node index.js

就會(huì)在控制面板上輸出hello world
搭建服務(wù)器
新建一個(gè)·名為node的文件夾
首先你需要下載express依賴(lài)

npm install express 

在新建一個(gè)名為demo.js的文件
目錄結(jié)構(gòu)如圖：

在demo.js引入下載的express

const express = require("express");
const app = express();
app.get("/index", function(req, res) {
res.end("111")
})
var server = app.listen(8081, function() {
    var host = server.address().address
    var port = server.address().port
    console.log("應(yīng)用實(shí)例，訪問(wèn)地址為 http://%s:%s", host, port)

})

運(yùn)行node demo.js簡(jiǎn)單的服務(wù)就搭起來(lái)了，如圖：

請(qǐng)求我們要爬取的頁(yè)面
首先下載需要的依賴(lài)

npm install superagent
npm install superagent-charset
npm install cheerio

superagent 是用來(lái)發(fā)起請(qǐng)求的，是一個(gè)輕量的,漸進(jìn)式的ajax api,可讀性好,學(xué)習(xí)曲線低,內(nèi)部依賴(lài)nodejs原生的請(qǐng)求api,適用于nodejs環(huán)境下.，也可以使用http發(fā)起請(qǐng)求
superagent-charset防止爬取下來(lái)的數(shù)據(jù)亂碼，更改字符格式
cheerio為服務(wù)器特別定制的，快速、靈活、實(shí)施的jQuery核心實(shí)現(xiàn).。
安裝完依賴(lài)就可以引入了

var superagent = require("superagent");
var charset = require("superagent-charset");
charset(superagent);
const cheerio = require("cheerio");

引入之后就請(qǐng)求我們的地址，https://www.qqtn.com/tx/weixi...

const baseUrl = "https://www.qqtn.com/"

這些設(shè)置完之后就是發(fā)請(qǐng)求了，接下來(lái)請(qǐng)看完整代碼demo.js

var superagent = require("superagent");
var charset = require("superagent-charset");
charset(superagent);
var express = require("express");
var baseUrl = "https://www.qqtn.com/"; //輸入任何網(wǎng)址都可以
const cheerio = require("cheerio");
var app = express();
app.get("/index", function(req, res) {
    //設(shè)置請(qǐng)求頭
    res.header("Access-Control-Allow-Origin", "*");
    res.header("Access-Control-Allow-Methods", "PUT, GET, POST, DELETE, OPTIONS");
    res.header("Access-Control-Allow-Headers", "X-Requested-With");
    res.header("Access-Control-Allow-Headers", "Content-Type");
    //類(lèi)型
    var type = req.query.type;
    //頁(yè)碼
    var page = req.query.page;
    type = type || "weixin";
    page = page || "1";
    var route = `tx/${type}tx_${page}.html`
        //網(wǎng)頁(yè)頁(yè)面信息是gb2312，所以chaeset應(yīng)該為.charset("gb2312")，一般網(wǎng)頁(yè)則為utf-8,可以直接使用.charset("utf-8")
    superagent.get(baseUrl + route)
        .charset("gb2312")
        .end(function(err, sres) {
            var items = [];
            if (err) {
                console.log("ERR: " + err);
                res.json({ code: 400, msg: err, sets: items });
                return;
            }
            var $ = cheerio.load(sres.text);
            $("div.g-main-bg ul.g-gxlist-imgbox li a").each(function(idx, element) {
                var $element = $(element);
                var $subElement = $element.find("img");
                var thumbImgSrc = $subElement.attr("src");
                items.push({
                    title: $(element).attr("title"),
                    href: $element.attr("href"),
                    thumbSrc: thumbImgSrc
                });
            });
            res.json({ code: 200, msg: "", data: items });
        });
});
var server = app.listen(8081, function() {

    var host = server.address().address
    var port = server.address().port

    console.log("應(yīng)用實(shí)例，訪問(wèn)地址為 http://%s:%s", host, port)

})

運(yùn)行demo.js就會(huì)返回我們拿到的數(shù)據(jù)，一個(gè)簡(jiǎn)單的node爬蟲(chóng)就完成了，如圖：

希望可以到 項(xiàng)目node爬蟲(chóng) 上點(diǎn)一個(gè) star 作為你對(duì)這個(gè)項(xiàng)目的認(rèn)可與支持，謝謝。