node爬蟲：送你一大波美腿圖

i_garfileo 發(fā)布于2019-08-22 16:31 / 3713人閱讀

摘要：決定送大家一套美圖。美腿可以分為白璧無瑕的大腿美晶瑩剔透的小腿美細(xì)微的美足健康明朗的腿形美。所謂腿健美，是指腿部的線條美。腿的長短與肥瘦是決定腿部美丑的兩大因素。

決定送大家一套美圖。但是授之以魚不如授之以漁，我們就來使用node實(shí)現(xiàn)個(gè)小爬蟲去爬取各種美女

來吧，我們先來看看今天的目標(biāo): mmjpg.com的美腿頻道下的圖片

在開始之前先來科普科普

美腿是形容女性美麗、性感、修長的腿形美。美腿可以分為白璧無瑕的大腿美、晶瑩剔透的小腿美、細(xì)微的美足、健康明朗的腿形美。所謂腿健美，是指腿部的線條美。腿的長短與肥瘦是決定腿部美丑的兩大因素。

一、實(shí)現(xiàn)步驟

確定目標(biāo)頁面

使用superagent庫來獲取頁面

分析頁面結(jié)構(gòu)，使用cheerio 獲取有效信息

保存圖片到本地

開擼

不斷優(yōu)化

二、開始編寫爬取妹子圖的爬蟲

下載這個(gè)小項(xiàng)目需要使用的庫

npm i superagent cheerio fs-extra --save

這兒我們用到了superagent cheerio fs-extra這三個(gè)庫

superagent 是nodejs里一個(gè)非常方便的客戶端請(qǐng)求代理模塊

cheerio：為服務(wù)器特別定制的，快速、靈活、實(shí)施的jQuery核心實(shí)現(xiàn)

fs-extra：豐富了fs模塊，同時(shí)支持async/await

2.1 請(qǐng)求URL獲取HTML

使用superagent發(fā)起請(qǐng)求并打印出頁面內(nèi)容

const request = require("superagent")
const cheerio = require("cheerio")
const fs = require("fs-extra")

let url = "http://www.mmjpg.com/tag/meitui/"

request
  .get(url + "1")
  .then(function (res) {
    console.log(res.text)
  })

// 你就可以看見HTML內(nèi)容打印到了控制臺(tái)

2.2 分析頁面結(jié)構(gòu)

現(xiàn)在我們就需要分析頁面結(jié)構(gòu)，然后使用cheerio來操作了，你沒用過cheerio不要緊它的語法和jQuery基本一樣。作為前端，在開發(fā)者工具中分析頁面應(yīng)該是家常便飯，手到擒來。這兒就不多說了，記住我們的目標(biāo)是找出需要的節(jié)點(diǎn)獲取到有效信息就好

我們可以發(fā)現(xiàn)需要的東西都在class為pic那個(gè)div下的列表中，現(xiàn)在我們就可以使用cheerio來獲取

...
async function getUrl() {
    const res = await request.get(url + 1)
    const $ = cheerio.load(res.text)
    $(".pic li").each(function(i, elem) {
        const href = $(this).find("a").attr("href")
        const title = $(this).find(".title").text()
        console.log(title, href)
    })
}

getUrl()

/* console
$ node app.js
大美女尹菲開檔網(wǎng)襪寫真令人眼花繚亂 http://www.mmjpg.com/mm/1230
宅男女神豐滿誘人的胴體令人想入非非 http://www.mmjpg.com/mm/1164
性感美女浴室寫真高聳的酥胸誘惑十足 http://www.mmjpg.com/mm/1162
長相清純甜美的97年妹子苗條美腿圖片 http://www.mmjpg.com/mm/1157
麗質(zhì)美女柔美修長美腿帶給你曼妙感受 http://www.mmjpg.com/mm/1153
容貌似楊冪的美女馨怡美腿極致誘惑圖 http://www.mmjpg.com/mm/1148
絲襪美腿誘惑!甜美女神楊晨晨私房套圖 http://www.mmjpg.com/mm/1130
性感美女劉鈺兒透視內(nèi)衣私密照真撩人 http://www.mmjpg.com/mm/1127
膚白貌美的模特李晨晨十分惹人憐愛 http://www.mmjpg.com/mm/1126
萌妹林美惠子穿黑絲浴室私房寫真福利 http://www.mmjpg.com/mm/1124
美女趙小米修長雙腿絲襪寫真能玩幾年 http://www.mmjpg.com/mm/1111
*/

2.3 分析URL地址

在很多時(shí)候我們都需要分析URL，就像點(diǎn)擊不同的頁碼觀察URL變化 http://www.mmjpg.com/tag/meit...，我們可以很容易發(fā)現(xiàn)頁碼對(duì)應(yīng)為URL最后的數(shù)字。查看mmjpg.com的美腿頻道我們可以發(fā)現(xiàn)它一共有10頁內(nèi)容，我們就不寫代碼判斷頁數(shù)了直接寫死為10。當(dāng)然了這兒你可以自己實(shí)現(xiàn)動(dòng)態(tài)判斷總頁數(shù)，就當(dāng)是留的小練習(xí)吧。

async function getUrl() {
  let linkArr = []
  for (let i = 1; i <= 10; i++) {
    const res = await request.get(url + i)
    const $ = cheerio.load(res.text)
    $(".pic li").each(function (i, elem) {
      let link = $(this).find("a").attr("href")
      linkArr.push(link)
    })
  }
  return linkArr
}

2.4 獲取圖片地址

現(xiàn)在我們已經(jīng)能獲取到圖集的URL了。在上一步我們獲取圖集URL的時(shí)候是把頁碼寫死了的，這是因?yàn)槟莻€(gè)頁碼不是動(dòng)態(tài)的，然而每個(gè)圖集的圖片頁數(shù)是不一樣的，這兒我們就需要?jiǎng)討B(tài)判斷了。進(jìn)入圖集后，切換圖片的頁碼URL也會(huì)跟著變，現(xiàn)在這個(gè)URL就是每張圖片頁面的URL。我們只需要獲取最后一個(gè)頁面的頁碼，從 1 開始?xì)v遍，和我們上面獲取的URL拼接在一起就是每張圖片的頁面地址啦！

獲取到單個(gè)圖片URL后，我們可以通過圖片的src屬性去拿到真實(shí)的圖片地址，然后實(shí)現(xiàn)下載保存

async function getPic(url) {
  const res = await request.get(url)
  const $ = cheerio.load(res.text)
  // 以圖集名稱來分目錄
  const dir = $(".article h2").text()
  console.log(`創(chuàng)建${title}文件夾`)
  await fs.mkdir(path.join(__dirname, "/mm", title))
  const pageCount = parseInt($("#page .ch.all").prev().text())
  for (let i = 1; i <= pageCount; i++) {
    let pageUrl = url + "/" + i
    const data = await request.get(pageUrl)
    const _$ = cheerio.load(data.text)
    // 獲取圖片的真實(shí)地址
    const imgUrl = _$("#content img").attr("src")
    download(dir, imgUrl) // TODO
  }
}

2.5 保存圖片到本地

現(xiàn)在我們就來實(shí)現(xiàn)下載保存圖片的方法，這兒我們使用了stream(流) 來保存圖片

function download(dir, imgUrl) {
  console.log(`正在下載${imgUrl}`)
  const filename = imgUrl.split("/").pop()  
  const req = request.get(imgUrl)
    .set({ "Referer": "http://www.mmjpg.com" }) // mmjpg.com根據(jù)Referer來限制訪問
  req.pipe(fs.createWriteStream(path.join(__dirname, "mm", dir, filename)))
}

ok，現(xiàn)在我們就來把之前寫的各個(gè)功能的函數(shù)連起來

async function init(){
  let urls = await getUrl()
  for (let url of urls) {
    await getPic(url)
  }
}

init()

運(yùn)行該文件，你就可以看終端打印出入下信息，你的文件夾中也多了好多美女圖喲！開不開心？嗨不嗨皮？

前方高能

一大波美女來襲

好吧~不刪掉通過不了

源碼：https://github.com/ogilhinn/m...

到此這個(gè)小爬蟲就算寫完了，但是這只是一個(gè)很簡陋的爬蟲，還有很多需要改進(jìn)的地方

你還可以加入很多東西讓它更健壯,如：

使用多個(gè)userAgent

不斷更換代理ip

降低爬蟲的速度，加個(gè)sleep()

……

如何讓它更健壯、如何應(yīng)對(duì)反爬蟲策略這些留著以后再講吧

三、參考鏈接

源碼：https://github.com/ogilhinn/m...

superagent： http://visionmedia.github.io/...

cheerio：https://github.com/cheeriojs/...

fs-extra：https://github.com/jprichards...

大家可以關(guān)注我的公眾號(hào)，一起玩耍。有技術(shù)干貨也有扯淡亂談，關(guān)注回復(fù)[888]還有意外驚喜領(lǐng)取

左手代碼右手磚，拋磚引玉

云服務(wù)器 GPU云服務(wù)器送你全球第一大cdn服務(wù)商 Nodes Node

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/94425.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

i_garfileo

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

百度網(wǎng)盤和阿里云盤哪個(gè)有優(yōu)勢百度盤短期不可替代

閱讀 4598·2021-09-10 11:22
svg+css3做一個(gè)動(dòng)感的波浪效果

閱讀 547·2019-08-30 11:17
前端面試之CSS相關(guān)

閱讀 2580·2019-08-30 11:03
CSS 各種定位（position）方式的區(qū)別

閱讀 441·2019-08-29 11:18
web 前端修煉之道

閱讀 3469·2019-08-28 17:59
竟然不會(huì)函數(shù)節(jié)流跟防抖，來看這篇包學(xué)包會(huì)

閱讀 3229·2019-08-26 13:40
關(guān)于前端上傳文件全面基礎(chǔ)掃盲貼(一) ----- XMLHttpRequest

閱讀 3178·2019-08-26 10:29
進(jìn)(線)程,微(宏)任務(wù)與http通訊(串聯(lián)理解)

閱讀 1152·2019-08-26 10:14

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！

node爬蟲：送你一大波美腿圖

相關(guān)文章

送你個(gè)情人節(jié)禮物：Python版抖音同款表白神器

寶塔面板Nginx通過User-Agent禁止爬蟲采集并返回炸彈

前端周刊第58期：送你 3 道面試題

如果有人問你爬蟲抓取技術(shù)的門道，請(qǐng)叫他來看這篇文章

Python 從零開始爬蟲(一)——爬蟲偽裝&反“反爬”

發(fā)表評(píng)論

0條評(píng)論

i_garfileo

男|高級(jí)講師

TA的文章

百度網(wǎng)盤和阿里云盤哪個(gè)有優(yōu)勢百度盤短期不可替代

svg+css3做一個(gè)動(dòng)感的波浪效果

前端面試之CSS相關(guān)

CSS 各種定位（position）方式的區(qū)別

web 前端修煉之道

竟然不會(huì)函數(shù)節(jié)流跟防抖，來看這篇包學(xué)包會(huì)

關(guān)于前端上傳文件全面基礎(chǔ)掃盲貼(一) ----- XMLHttpRequest

進(jìn)(線)程,微(宏)任務(wù)與http通訊(串聯(lián)理解)

最新活動(dòng)

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！

node爬蟲：送你一大波美腿圖

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

男|高級(jí)講師

TA的文章

最新活動(dòng)

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！