上天的Node.js之爬蟲(chóng)篇 15行代碼爬取京東淘寶資源【深入淺出】

104828720 發(fā)布于2019-08-02 16:08 / 1996人閱讀

摘要：這里由于京東的分界面都使用了，所以我們可以用，總之他們開(kāi)發(fā)能用的選擇器，我們都可以用，否則就不可以。

難道爬蟲(chóng)只能用 python 做？ 不，我們上天的 Node.js 也可以做！

需要準(zhǔn)備的包

Node.js的最新版本下載地址 Node.js官網(wǎng)

npm 包管理器下載下載最新的官網(wǎng)版本 Node.js 會(huì)自帶 npm

npm的第三方包 puppeteer 在對(duì)應(yīng)的js文件內(nèi)運(yùn)行命令行工具 npm i puppeteer -D 即可

爬蟲(chóng)在獲取某些有保護(hù)機(jī)制的網(wǎng)頁(yè)時(shí)可能會(huì)失效

初入江湖 -自在地境篇

const puppeteer = require("puppeteer"); //  引入依賴  
(async () => {   //使用async函數(shù)完美異步 
    const browser = await puppeteer.launch();  //打開(kāi)新的瀏覽器
    const page = await browser.newPage();   // 打開(kāi)新的網(wǎng)頁(yè) 
    await page.goto("https://www.jd.com/");  //前往里面 "url" 的網(wǎng)頁(yè)
    const result = await page.evaluate(() => {   //這個(gè)result數(shù)組包含所有的圖片src地址
        let arr = []; //這個(gè)箭頭函數(shù)內(nèi)部寫(xiě)處理的邏輯  
        const imgs = document.querySelectorAll("img");
        imgs.forEach(function (item) {
            arr.push(item.src)
        })
        return arr 
    });
    // "此時(shí)的result就是得到的爬蟲(chóng)數(shù)據(jù)，可以通過(guò)"fs"模塊保存"
})()

  復(fù)制過(guò)去 使用命令行命令 ` node 文件名 ` 就可以運(yùn)行獲取爬蟲(chóng)數(shù)據(jù)了

這個(gè) puppeteer 的包 ，其實(shí)是替我們開(kāi)啟了另一個(gè)瀏覽器，重新去開(kāi)啟網(wǎng)頁(yè)，獲取它們的數(shù)據(jù)。

瀟灑入世 -逍遙天境篇

上面只爬取了京東首頁(yè)的圖片內(nèi)容，假設(shè)我的需求進(jìn)一步擴(kuò)大，需要爬取京東首頁(yè)

中的所有 標(biāo)簽對(duì)應(yīng)的跳轉(zhuǎn)網(wǎng)頁(yè)中的所有 title的文字內(nèi)容，最后放到一個(gè)數(shù)組中。

我們的async函數(shù)上面一共分了五步，只有 puppeteer.launch() ,

browser.newPage(), browser.close() 是固定的寫(xiě)法。

page.goto 指定我們?nèi)ツ膫€(gè)網(wǎng)頁(yè)爬取數(shù)據(jù)，可以更換內(nèi)部url地址，也可以多次

調(diào)用這個(gè)方法。

page.evaluate 這個(gè)函數(shù)，內(nèi)部是處理我們進(jìn)入想要爬取網(wǎng)頁(yè)的數(shù)據(jù)邏輯

page.goto和 page.evaluate兩個(gè)方法，可以在async內(nèi)部調(diào)用多次，

那意味著我們可以先進(jìn)入京東網(wǎng)頁(yè)，處理邏輯后，再次調(diào)用page.goto這個(gè)函數(shù)，

注意，上面這一切邏輯，都是puppeteer這個(gè)包幫我們?cè)诳床灰?jiàn)的地方開(kāi)啟了另外一個(gè)
瀏覽器，然后處理邏輯，所以最終要調(diào)用browser.close()方法關(guān)閉那個(gè)瀏覽器。

這時(shí)候我們對(duì)上一篇的代碼進(jìn)行優(yōu)化，爬取對(duì)應(yīng)的資源。

 const puppeteer = require("puppeteer");
(async () => {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto("https://www.jd.com/");
    const hrefArr = await page.evaluate(() => {
        let arr = [];
        const aNodes = document.querySelectorAll(".cate_menu_lk");
        aNodes.forEach(function (item) {
            arr.push(item.href)
        })
        return arr
    });
    let arr = [];
    for (let i = 0; i < hrefArr.length; i++) {
        const url = hrefArr[i];
        console.log(url) //這里可以打印 
        await page.goto(url);
        const result = await page.evaluate(() => { //這個(gè)方法內(nèi)部console.log無(wú)效 
            
              return  $("title").text();  //返回每個(gè)界面的title文字內(nèi)容
        });
        arr.push(result)  //每次循環(huán)給數(shù)組中添加對(duì)應(yīng)的值
    }
    console.log(arr)  //得到對(duì)應(yīng)的數(shù)據(jù)  可以通過(guò)Node.js的 fs 模塊保存到本地
    await browser.close()
})()

上面有天坑   page.evaluate函數(shù)內(nèi)部的console.log不能打印，而且內(nèi)部不能獲取外部的變量,只能return返回，
使用的選擇器必須先去對(duì)應(yīng)界面的控制臺(tái)實(shí)驗(yàn)過(guò)能不能選擇DOM再使用，比如京東無(wú)法使用querySelector。這里由于
京東的分界面都使用了jQuery，所以我們可以用jQuery，總之他們開(kāi)發(fā)能用的選擇器，我們都可以用，否則就不可以。

威震武林 -神游玄境篇

數(shù)據(jù)在這個(gè)時(shí)代非常珍貴，上面兩個(gè)能獲取一些指定的特定資源，按照網(wǎng)頁(yè)的設(shè)計(jì)邏輯，選定特定的href的地址，
可以先直接獲取對(duì)應(yīng)的資源，也可以通過(guò)再次使用  page.goto方法進(jìn)入，再調(diào)用 page.evaluate() 處理邏輯。
這里就不做過(guò)多介紹了，畢竟 Node.js 是可以上天的，或許未來(lái)它真的什么都能做。這么優(yōu)質(zhì)簡(jiǎn)短的教程，請(qǐng)收藏
或者轉(zhuǎn)發(fā)給您的朋友，謝謝。

云服務(wù)器 GPU云服務(wù)器之基礎(chǔ)篇深入理解webrtc之a(chǎn)ec 爬蟲(chóng)爬取數(shù)據(jù) java爬蟲(chóng)爬取數(shù)據(jù)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/54731.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

104828720

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

IR2103H橋驅(qū)動(dòng)電路

閱讀 1794·2021-10-12 10:12
SiteGround分布式備份系統(tǒng)，更好的保護(hù)獨(dú)立站用戶數(shù)據(jù)

閱讀 2549·2021-09-29 09:42
C語(yǔ)言實(shí)現(xiàn)呼吸燈（HAL庫(kù)）

閱讀 2728·2021-09-03 10:28
前端每日實(shí)戰(zhàn)：71# 視頻演示如何用純 CSS 創(chuàng)作一個(gè)跳 8 字型舞的 loader

閱讀 2262·2019-08-30 15:54
使用purifycss精簡(jiǎn)css

閱讀 1168·2019-08-30 15:53
Flex布局實(shí)例，水平垂直居中展示

閱讀 1399·2019-08-30 11:26
overflow屬性便捷語(yǔ)法的不兼容問(wèn)題

閱讀 3365·2019-08-30 11:02
使用 <wbr> 解決長(zhǎng) URL 的換行問(wèn)題

閱讀 2149·2019-08-30 11:02

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

上天的Node.js之爬蟲(chóng)篇 15行代碼爬取京東淘寶資源【深入淺出】

相關(guān)文章