成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

node.js來爬取智聯(lián)全國的競爭最激烈的前十崗位

Pandaaa / 2128人閱讀

摘要：項(xiàng)目分析爬取智聯(lián)網(wǎng)站上的全國的競爭最激烈三個(gè)月內(nèi)前十的崗位。模塊專為服務(wù)器設(shè)計(jì)的核心的快速，靈活和精益的實(shí)現(xiàn)。核心代碼發(fā)起請求獲取到的內(nèi)容放到模塊遍歷是通過分析頁面結(jié)構(gòu)得到的打印數(shù)據(jù)執(zhí)行就會得到如下結(jié)果。

node爬蟲

什么是爬蟲呢，是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本。為什么選用node呢，因?yàn)槲沂乔岸?，?dāng)然要用js實(shí)現(xiàn)。

項(xiàng)目分析

爬取http://top.zhaopin.com 智聯(lián)網(wǎng)站上的全國的競爭最激烈三個(gè)月內(nèi)前十的崗位。不需要定時(shí)爬取。使用request和cheerio模塊。node版本7.6.0、npm版本4.1.2

安裝 
npm install request cheerio -S

request 模塊是一個(gè)簡化的HTTP客戶端。
cheerio 模塊專為服務(wù)器設(shè)計(jì)的核心jQuery的快速，靈活和精益的實(shí)現(xiàn)?？梢园雅赖降膬?nèi)容和jQuery一樣使用。

核心代碼 
// app.js
const request = require("request");
const cheerio = require("cheerio");

// 發(fā)起請求
request("http://top.zhaopin.com", (error, response, body) => {
    if(error){
        console.error(error);
    }
    let json = {};
    // 獲取到的內(nèi)容放到cheerio模塊
    const $ = cheerio.load(body);

    // jQuery 遍歷  #hotJobTop .topList li  是通過http://top.zhaopin.com 分析頁面結(jié)構(gòu)得到的
    $("#hotJobTop .topList li").each(function (index) {
        let obj = json[index] = {};
        obj.name = $(this).find(".title").text().trim();
        obj.num = $(this).find(".paddingR10").text().trim();
    });

    // 打印數(shù)據(jù)
    console.log(json);
});

執(zhí)行 node app.js 就會得到如下結(jié)果。

[ { name: "Java開發(fā)工程師", num: "340538人/天" },
  { name: "軟件工程師", num: "220873人/天" },
  { name: "銷售代表", num: "175053人/天" },
  { name: "會計(jì)/會計(jì)師", num: "168225人/天" },
  { name: "行政專員/助理", num: "150913人/天" },
  { name: "WEB前端開發(fā)", num: "140979人/天" },
  { name: "助理/秘書/文員", num: "139098人/天" },
  { name: "軟件測試", num: "136399人/天" },
  { name: "人力資源專員/助理", num: "123482人/天" },
  { name: "用戶界面（UI）設(shè)計(jì)", num: "107505人/天" } ]

一個(gè)簡單的爬蟲就寫好了，看看前十有沒有你從事的崗位吧！

我的博客和github地址

http://blog.langpz.com

https://github.com/lanpangzhi

參考

https://github.com/request/request

https://github.com/cheeriojs/cheerio

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/104389.html

相關(guān)文章

  • Scrapy爬取智聯(lián)招聘

    摘要：之前接了一個(gè)活，做的功能是從智聯(lián)招聘爬取招聘信息賺了幾百塊零花錢實(shí)現(xiàn)了一個(gè)，如圖雖然比較丑，但是簡潔明了，落落大方已經(jīng)是我水平的天花板了具體功能說明就不了，大家都能看懂的。。。。智聯(lián)招聘鏈接網(wǎng)頁是這個(gè)樣子的，反爬蟲不強(qiáng)。 之前接了一個(gè)活，做的功能是從智聯(lián)招聘爬取招聘信息賺了幾百塊零花錢實(shí)現(xiàn)了一個(gè)GUI，如圖：showImg(https://segmentfault.com/img/bV...

    Tamic 評論0 收藏0

  • node.js 89行爬蟲爬取智聯(lián)招聘信息

    摘要：智聯(lián)其實(shí)一共寫了兩次，有興趣的可以在源碼看看，第一版的是回調(diào)版，只能一次一頁的爬取。 寫在前面的話， 　　　.......還是不寫了，直接上效果圖。附上源碼地址 github.lonhon showImg(https://segmentfault.com/img/bVUM3F?w=714&h=543);showImg(https://segmentfault.com/img/bVUM...

    _ivan 評論0 收藏0

  • 智聯(lián)招聘數(shù)據(jù)爬取準(zhǔn)備(2)-招聘信息頁面及企業(yè)主頁源碼解析

    摘要：網(wǎng)頁源碼解析智聯(lián)招聘信息頁面根據(jù)招聘列表里面跳轉(zhuǎn)過來的詳細(xì)招聘信息頁面。巨優(yōu)信息是法國阿爾卡特朗訊公司企業(yè)通信系統(tǒng)全國金牌代理商，同時(shí)也是華為思科等國際知名品牌的核心合作伙伴。主頁是智聯(lián)招聘里唯一能夠讓企業(yè)自己定制的頁面了。 網(wǎng)頁源碼解析 - 智聯(lián)招聘信息頁面 根據(jù)招聘列表里面跳轉(zhuǎn)過來的詳細(xì)招聘信息頁面。爬蟲再根據(jù)這里進(jìn)行關(guān)鍵信息提取。相比于搜索列表頁來說，這頁內(nèi)容很簡單，而我們需要的...

    he_xd 評論0 收藏0

  • python爬蟲招聘網(wǎng)站（智聯(lián)）

    摘要：年月日爬取，爬蟲代碼不知道是否失效文章目錄爬蟲目標(biāo)具體過程源碼爬蟲目標(biāo)要求搜索大數(shù)據(jù)專業(yè)，爬相關(guān)公司的招聘信息。 2021年10月7日爬取，爬蟲代碼不知道是否失效 ...

    keelii 評論0 收藏0

  • 智聯(lián)招聘數(shù)據(jù)爬取準(zhǔn)備(1)-智聯(lián)招聘搜索列表源碼解析

    摘要：網(wǎng)頁源碼解析智聯(lián)招聘搜索列表一開始必須要解析智聯(lián)招聘搜索列表頁，從這里更方便實(shí)現(xiàn)各種深層級數(shù)據(jù)抓取。顯示不同源碼也不同，盡量選列表模式，源碼更好解析。 網(wǎng)頁源碼解析 - 智聯(lián)招聘搜索列表 一開始必須要解析智聯(lián)招聘搜索列表頁，從這里更方便實(shí)現(xiàn)各種深層級數(shù)據(jù)抓取。網(wǎng)頁地址是：http://sou.zhaopin.com/jobs/searchresult.ashx 搜索參數(shù) 智聯(lián)招聘的服務(wù)...

    VPointer 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<