成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

html5語義標(biāo)簽以及使用nodejs request庫抓取網(wǎng)站數(shù)據(jù)

simon_chen / 1803人閱讀

摘要:語義標(biāo)簽定義文檔中的一個章節(jié)。定義可以獨(dú)立于內(nèi)容其余部分的完整獨(dú)立內(nèi)容塊。定義和頁面內(nèi)容關(guān)聯(lián)度較低的內(nèi)容如果被刪除,剩下的內(nèi)容仍然很合理。它經(jīng)常包含頁面標(biāo)題和導(dǎo)航性的目錄。定義包含聯(lián)系信息的一個章節(jié)。

html5語義標(biāo)簽
Element Description
定義文檔中的一個章節(jié)。
定義只包含導(dǎo)航鏈接的章節(jié)。
定義可以獨(dú)立于內(nèi)容其余部分的完整獨(dú)立內(nèi)容塊。
定義和頁面內(nèi)容關(guān)聯(lián)度較低的內(nèi)容——如果被刪除,剩下的內(nèi)容仍然很合理。
定義頁面或章節(jié)的頭部。它經(jīng)常包含 logo、頁面標(biāo)題和導(dǎo)航性的目錄。
定義頁面或章節(jié)的尾部。它經(jīng)常包含版權(quán)信息、法律信息鏈接和反饋建議用的地址。
定義包含聯(lián)系信息的一個章節(jié)。
定義文檔中主要或重要的內(nèi)容。

如圖:

使用nodejs request庫抓取網(wǎng)站數(shù)據(jù) 分析數(shù)據(jù) 查看請求 如圖:

打開chrome開發(fā)者工具crtl+shift+i,打開network面板,選擇XHR

找到需要數(shù)據(jù)的XHR請求

分析請求

箭頭所示地方 發(fā)現(xiàn) 該數(shù)據(jù)是使用post請求并且傳值形式如 "form: trendType=01",請求的url也一目了然

偽造請求

那么接下來的事情就比較簡單了,我們只需要根據(jù)找到的這個請求格式設(shè)置headers,再請求這個api的url即可

"accept": "application/json, text/javascript, */*; q=0.01",
  "origin": "http://www.liangdawang.com",
  "referer": "http://www.liangdawang.com/",
  "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
下載數(shù)據(jù)

查看request文檔再使用pipe方法將獲取的數(shù)據(jù)下載到本地保存起來

request(options, callback).pipe(fs.createWriteStream(options.form.trendType + `.json`));
代碼鏈接 源碼 https://gitee.com/imgwho/lian... 預(yù)覽 https://imgwho.gitee.io/liangyou

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/94697.html

相關(guān)文章

  • 單頁應(yīng)用SEO淺談(轉(zhuǎn)載)

    摘要:中的哈希號單頁應(yīng)用只有一個頁面,視圖的變化通常是通過路由來驅(qū)動,首先,我們先來談一談單頁應(yīng)用的中的號,很多采用單元結(jié)構(gòu)網(wǎng)站的都出現(xiàn)了這個符號。 單頁應(yīng)用SEO淺談 單頁應(yīng)用(Single Page Application)越來越受web開發(fā)者歡迎,單頁應(yīng)用的體驗(yàn)可以模擬原生應(yīng)用,一次開發(fā),多端兼容。單頁應(yīng)用并不是一個全新發(fā)明的技術(shù),而是隨著互聯(lián)網(wǎng)的發(fā)展,滿足用戶體驗(yàn)的一種綜合技術(shù)。 S...

    xuhong 評論0 收藏0
  • 前端工程師的知識體系

    摘要:目前只有和有這個概率。是快速開發(fā)應(yīng)用程序的前端工具包。調(diào)試工具前端的調(diào)試工具很多,比如,核心的的。前端流程部署,和現(xiàn)在幾乎是前端最流行的自動化的項(xiàng)目構(gòu)建工具正則表達(dá)式瀏覽器插件開發(fā)瀏覽器原理溝通能力優(yōu)秀 下圖是前端工程師圖解:showImg(http://upload-images.jianshu.io/upload_images/1807893-de7c7404345922b6.jp...

    itvincent 評論0 收藏0
  • 前端工程師的知識體系

    摘要:目前只有和有這個概率。是快速開發(fā)應(yīng)用程序的前端工具包。調(diào)試工具前端的調(diào)試工具很多,比如,核心的的。前端流程部署,和現(xiàn)在幾乎是前端最流行的自動化的項(xiàng)目構(gòu)建工具正則表達(dá)式瀏覽器插件開發(fā)瀏覽器原理溝通能力優(yōu)秀 下圖是前端工程師圖解:showImg(http://upload-images.jianshu.io/upload_images/1807893-de7c7404345922b6.jp...

    raise_yang 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<