用TypeScript開發(fā)爬蟲程序

CocoaChina 發(fā)布于2019-08-20 11:56 / 1453人閱讀

摘要：全局安裝目前版本，這個版本不再需要使用命令了?，F(xiàn)在嘗試深入抓取文章內(nèi)容可以發(fā)現(xiàn)因為訪問服務(wù)器太迅猛，導(dǎo)致出現(xiàn)很多次錯誤。解決添加文件修改文件為修改文件為觀察輸出可以看到，程序?qū)崿F(xiàn)了隔一秒再請求下一個內(nèi)容頁。

全局安裝typescript：

npm install -g typescript

目前版本2.0.3，這個版本不再需要使用typings命令了。但是vscode捆綁的版本是1.8的，需要一些配置工作，看本文的處理辦法。

測試tsc命令：

tsc

創(chuàng)建要寫的程序項目文件夾：

mkdir test-typescript-spider

進(jìn)入該文件夾：

cd test-typescript-spider

初始化項目：

npm init

安裝superagent和cheerio模塊：

npm i --save superagent cheerio

安裝對應(yīng)的類型聲明模塊：

npm i -s @types/superagent --save
npm i -s @types/cheerio --save

安裝項目內(nèi)的typescript（必須走這一步）：

npm i --save typescript

用vscode打開項目文件夾。在該文件夾下創(chuàng)建tsconfig.json文件，并復(fù)制以下配置代碼進(jìn)去：

{
    "compilerOptions": {
        "target": "ES6",
        "module": "commonjs",
        "noEmitOnError": true,
        "noImplicitAny": true,
        "experimentalDecorators": true,
        "sourceMap": false,
     // "sourceRoot": "./",
        "outDir": "./out"
    },
    "exclude": [
        "node_modules"
    ]
}

在vscode打開“文件”-“首選項”-“工作區(qū)設(shè)置”
在settings.json中加入（如果不做這個配置，vscode會在打開項目的時候提示選擇哪個版本的typescript）：

{
   "typescript.tsdk": "node_modules/typescript/lib"
}

創(chuàng)建api.ts文件，復(fù)制以下代碼進(jìn)去：

import superagent = require("superagent");
import cheerio = require("cheerio");

export const remote_get = function(url: string) {

    const promise = new Promise(function (resolve, reject) {
        superagent.get(url)
            .end(function (err, res) {
                if (!err) {
                    resolve(res);
                } else {
                    console.log(err)
                    reject(err);
                }
            });
    });
    return promise;
}

創(chuàng)建app.ts文件，書寫測試代碼：

import api = require("./api");
const go = async () => {
    let res = await api.remote_get("http://www.baidu.com/");
    console.log(res.text);
}
go();

執(zhí)行命令：

tsc

然后：

node out/app

觀察輸出是否正確。

現(xiàn)在嘗試抓取http://cnodejs.org/的第一頁文章鏈接。
修改app.ts文件，代碼如下：

import api = require("./api");
import cheerio = require("cheerio");

const go = async () => {
    const res = await api.remote_get("http://cnodejs.org/");
    const $ = cheerio.load(res.text);
    let urls: string[] = [];
    let titles: string[] = [];
    $(".topic_title_wrapper").each((index, element) => {
        titles.push($(element).find(".topic_title").first().text().trim());
        urls.push("http://cnodejs.org/" + $(element).find(".topic_title").first().attr("href"));
    })
    console.log(titles, urls);
}
go();

觀察輸出，文章的標(biāo)題和鏈接都已獲取到了。

現(xiàn)在嘗試深入抓取文章內(nèi)容

import api = require("./api");
import cheerio = require("cheerio");

const go = async () => {
    const res = await api.remote_get("http://cnodejs.org/");
    const $ = cheerio.load(res.text);
    $(".topic_title_wrapper").each(async (index, element) => {
        let url = ("http://cnodejs.org" + $(element).find(".topic_title").first().attr("href"));
        const res_content = await api.remote_get(url);
        const $_content = cheerio.load(res_content.text);
        console.log($_content(".topic_content").first().text());
    })

}
go();

可以發(fā)現(xiàn)因為訪問服務(wù)器太迅猛，導(dǎo)致出現(xiàn)很多次503錯誤。
解決：
添加helper.ts文件：

export const wait_seconds = function (senconds: number) {
    return new Promise(resolve => setTimeout(resolve, senconds * 1000));
}

修改api.ts文件為：

import superagent = require("superagent");
import cheerio = require("cheerio");

export const get_index_urls = function () {
    const res = await remote_get("http://cnodejs.org/");
    const $ = cheerio.load(res.text);
    let urls: string[] = [];
    $(".topic_title_wrapper").each(async (index, element) => {
        urls.push("http://cnodejs.org" + $(element).find(".topic_title").first().attr("href"));
    });
    return urls;
}
export const get_content = async function (url: string) {
    const res = await remote_get(url);
    const $ = cheerio.load(res.text);
    return $(".topic_content").first().text();
}

export const remote_get = function (url: string) {

    const promise = new Promise(function (resolve, reject) {

        superagent.get(url)
            .end(function (err, res) {
                if (!err) {
                    resolve(res);
                } else {
                    console.log(err)
                    reject(err);
                }
            });
    });
    return promise;
}

修改app.ts文件為：

import api = require("./api");
import helper = require("./helper");
import cheerio = require("cheerio");

const go = async () => {
    let urls = await api.get_index_urls();
    for (let i = 0; i < urls.length; i++) {
        await helper.wait_seconds(1);
        let text = await api.get_content(urls[i]);
        console.log(text);
    }
}
go();

觀察輸出可以看到，程序?qū)崿F(xiàn)了隔一秒再請求下一個內(nèi)容頁。

現(xiàn)在嘗試把抓取到的東西存到數(shù)據(jù)庫中。
安裝mongoose模塊：

npm i mongoose --save
npm i -s @types/mongoose --save

然后建立Scheme。先創(chuàng)建models文件夾：

mkdir models

在models文件夾下創(chuàng)建index.ts：

import * as mongoose from "mongoose";

mongoose.connect("mongodb://127.0.0.1/cnodejs_data", {
    server: { poolSize: 20 }
}, function (err) {
    if (err) {
        process.exit(1);
    }
});

// models
export const Article = require("./article");

在models文件夾下創(chuàng)建IArticle.ts:

interface IArticle {
    title: String;
    url: String;
    text: String;
}
export = IArticle;

在models文件夾下創(chuàng)建Article.ts:

import mongoose = require("mongoose");
import IArticle = require("./IArticle");
interface IArticleModel extends IArticle, mongoose.Document { }

const ArticleSchema = new mongoose.Schema({
    title: { type: String },
    url: { type: String },
    text: { type: String },
});

const Article = mongoose.model("Article", ArticleSchema);
export = Article;

修改api.ts為：

import superagent = require("superagent");
import cheerio = require("cheerio");
import models = require("./models");
const Article = models.Article;

export const get_index_urls = async function () {
    const res = await remote_get("http://cnodejs.org/");

    const $ = cheerio.load(res.text);
    let urls: string[] = [];
    $(".topic_title_wrapper").each((index, element) => {
        urls.push("http://cnodejs.org" + $(element).find(".topic_title").first().attr("href"));
    });
    return urls;

}
export const fetch_content = async function (url: string) {
    const res = await remote_get(url);

    const $ = cheerio.load(res.text);
    let article = new Article();
    article.text = $(".topic_content").first().text();
    article.title = $(".topic_full_title").first().text().replace("置頂", "").replace("精華", "").trim();
    article.url = url;
    console.log("獲取成功：" + article.title);
    article.save();

}
export const remote_get = function (url: string) {

    return new Promise((resolve, reject) => {
        superagent.get(url)
            .end(function (err, res) {
                if (!err) {
                    resolve(res);
                } else {
                    reject(err);
                }
            });
    });
}

修改app.ts為：

import api = require("./api");
import helper = require("./helper");
import cheerio = require("cheerio");

(async () => {

    try {
        let urls = await api.get_index_urls();
        for (let i = 0; i < urls.length; i++) {
            await helper.wait_seconds(1);
            await api.fetch_content(urls[i]);
        }
    } catch (err) {
        console.log(err);
    }

    console.log("完畢！");

})();

執(zhí)行

tsc
node out/app

觀察輸出，并去數(shù)據(jù)庫檢查一下
可以發(fā)現(xiàn)入庫成功了！

補(bǔ)充：remote_get方法的改進(jìn)版，實現(xiàn)錯誤重試和加入代理服務(wù)器.
放棄了superagent庫，用的request庫，僅供參考：

//config.retries = 3;
let current_retry = config.retries || 0;
export const remote_get = async function (url: string, proxy?: string) {
    //每次請求都先稍等一下
    await wait_seconds(2);
    if (!proxy) {
        proxy = "";
    }
    const promise = new Promise(function (resolve, reject) {
        console.log("get: " + url + ",  using proxy: " + proxy);
        let options: request.CoreOptions = {
            headers: {
                "Cookie": "",
                "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36",
                "Referer": "https://www.baidu.com/"
            },
            encoding: "utf-8",
            method: "GET",
            proxy: proxy,
            timeout: 3000,
        }
        request(url, options, async function (err, response, body) {
            console.log("got:" + url);
            if (!err) {
                body = body.toString();
                current_retry = config.retries || 0;
                console.log("bytes:" + body.length);
                resolve(body);
            } else {
                console.log(err);
                if (current_retry <= 0) {
                    current_retry = config.retries || 0;
                    reject(err);
                } else {
                    console.log("retry...(" + current_retry + ")")
                    current_retry--;
                    try {
                        let body = await remote_get(url, proxy);
                        resolve(body);
                    } catch (e) {
                        reject(e);
                    }
                }
            }
        });
    });
    return promise;
}

另外，IArticle.ts和Article.ts合并為一個文件，可能更好，可以參考我另一個model的寫法：

import mongoose = require("mongoose");

interface IProxyModel {
    uri: string;
    ip: string;
    port:string;
    info:string;
}
export interface IProxy extends IProxyModel, mongoose.Document { }

const ProxySchema = new mongoose.Schema({
    uri: { type: String },//
    ip: { type: String },//
    port: { type: String },//
    info: { type: String },//
});
export const Proxy = mongoose.model("Proxy", ProxySchema);

導(dǎo)入的時候這么寫就行了：

import { IProxy, Proxy } from "./models";

其中Proxy可以用來做new、find、where之類的操作:

let x = new Proxy();
let xx = await Proxy.find({});
let xxx = await Proxy.where("aaa",123).exec();

而IProxy用于實體對象的傳遞，例如

function xxx(p:IProxy){
}

GPU云服務(wù)器云服務(wù)器爬蟲程序開發(fā) 爬蟲程序有什么用爬蟲用什么開發(fā)工具小程序用不用開發(fā)

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/80709.html

發(fā)表評論

登陸后可評論

0條評論

CocoaChina

男|高級講師

我要關(guān)注我要私信

TA的文章

Java狀況

閱讀 893·2021-11-15 11:38
馬斯克：星鏈衛(wèi)星將以 97% 的光速傳輸數(shù)據(jù)

閱讀 2526·2021-09-08 09:45
XIU主題8.2版本更新：新增文章和頁面對模版的支持、調(diào)整和修復(fù)一些問題

閱讀 2828·2021-09-04 16:48
淺探前端圖片優(yōu)化

閱讀 2574·2019-08-30 15:54
JavaScript疑難雜癥系列-事件

閱讀 941·2019-08-30 13:57
面試官：談?wù)勀銓?CSS 盒模型的認(rèn)識?（你確定會？）

閱讀 1629·2019-08-29 15:39
gitbook: 前端好書推薦

閱讀 506·2019-08-29 12:46
如何使用異步剪切板 AsyncClipboard API

閱讀 3531·2019-08-26 13:39

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

用TypeScript開發(fā)爬蟲程序

相關(guān)文章

SegmentFault 技術(shù)周刊 Vol.40 - 2018，來學(xué)習(xí)一門新的編程語言吧！

SegmentFault 技術(shù)周刊 Vol.40 - 2018，來學(xué)習(xí)一門新的編程語言吧！

SegmentFault 技術(shù)周刊 Vol.40 - 2018，來學(xué)習(xí)一門新的編程語言吧！

前端窩 - 收藏集 - 掘金

Angular開發(fā)實踐（六）：服務(wù)端渲染

發(fā)表評論

0條評論

CocoaChina

男|高級講師

TA的文章

Java狀況

馬斯克：星鏈衛(wèi)星將以 97% 的光速傳輸數(shù)據(jù)

XIU主題8.2版本更新：新增文章和頁面對模版的支持、調(diào)整和修復(fù)一些問題

淺探前端圖片優(yōu)化

JavaScript疑難雜癥系列-事件

面試官：談?wù)勀銓?CSS 盒模型的認(rèn)識?（你確定會？）

gitbook: 前端好書推薦

如何使用異步剪切板 AsyncClipboard API

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

用TypeScript開發(fā)爬蟲程序

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！