我的小蜘蛛

darkerXi 發(fā)布于2019-08-21 17:03 / 3498人閱讀

摘要：的小案例知識在于傳遞，互聯(lián)網(wǎng)的發(fā)展讓人們有了更豐富的知識閱覽。技術(shù)的出現(xiàn)因應(yīng)時代的發(fā)展，技術(shù)可以便捷生活。與通用爬蟲不同，聚焦爬蟲并不追求大的覆蓋，而將目標(biāo)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源。

spider 的小案例

知識在于傳遞，互聯(lián)網(wǎng)的發(fā)展讓人們有了更豐富的知識閱覽。技術(shù)的出現(xiàn)因應(yīng)時代的發(fā)展，技術(shù)可以便捷生活。

定向抓取相關(guān)網(wǎng)頁資源的聚焦爬蟲應(yīng)運而生。聚焦爬蟲是一個自動下載網(wǎng)頁的程序，它根據(jù)既定的抓取目標(biāo)，有選擇的訪問萬維網(wǎng)上的網(wǎng)頁與相關(guān)的鏈接，獲取所需要的信息。與通用爬蟲(general purpose web crawler)不同，聚焦爬蟲并不追求大的覆蓋，而將目標(biāo)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源。

https://github.com/hxj886600/...

這是兩個spider的項目
*第一個是百度的圖片
*第一個是http://www.bootcss.com/p/font...（可以引用圖標(biāo)的網(wǎng)站）的文件名字
用的的模塊

核心模塊

const http=require("http");
const fs=require("fs");
const  https=require("https")

引用的模塊

const cheerio=require("cheerio")


var $=cheerio.load()

 res.setEncoding("binary");
 二進制方法保存保證不失真

主要用來引jq的模塊
當(dāng)然也可直接引入jq的模塊（不過不推薦使用）
加幾張效果圖吧

完成后會出現(xiàn)image 的文件，其中包括這幾張圖片感興趣的可以試一試

云服務(wù)器 GPU云服務(wù)器我的小程序搜索蜘蛛網(wǎng)絡(luò)蜘蛛蜘蛛算法

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/89075.html

相關(guān)文章

每日 30 秒 ? 投懷送抱

showImg(https://segmentfault.com/img/remote/1460000018808058?w=900&h=500); 簡介 SEO、sitemap、搜索引擎優(yōu)化、簡單教程在曖昧期和暗戀期時心里總是懸掛著： ta 為什么還不和我表白？ ta 是不是對我沒感覺？ ta 是不是只是把我當(dāng)備胎？ ta 是不是對誰都這樣？解決問題最簡單的方式就是直接問問對方...

kevin 2019-08-23 16:50 評論0 收藏0
每日 30 秒 ? 千里姻緣一線牽

簡介 SEO、鏈接、a 標(biāo)簽、HTTP 狀態(tài)碼、link 標(biāo)簽、alternate、canonical 唐朝有個小伙叫韋固喜歡在河邊玩，一天遇到一個老伯伯在月光下把兩塊石頭系在一起。小伙看到很好奇便問道系石頭做什么呢？老伯伯說我在給當(dāng)婚人牽線，這對石頭是一對夫妻。小伙問道：那我的妻子是誰呢？老伯伯說：就是村頭看菜園子的女孩兒。小伙就好氣，本小伙玉樹臨風(fēng)、風(fēng)流倜儻怎么可以和菜園窮丑丫頭一起呢？第二...

Arno 2019-08-02 16:11 評論0 收藏0
每日 30 秒 ? 千里姻緣一線牽

簡介 SEO、鏈接、a 標(biāo)簽、HTTP 狀態(tài)碼、link 標(biāo)簽、alternate、canonical 唐朝有個小伙叫韋固喜歡在河邊玩，一天遇到一個老伯伯在月光下把兩塊石頭系在一起。小伙看到很好奇便問道系石頭做什么呢？老伯伯說我在給當(dāng)婚人牽線，這對石頭是一對夫妻。小伙問道：那我的妻子是誰呢？老伯伯說：就是村頭看菜園子的女孩兒。小伙就好氣，本小伙玉樹臨風(fēng)、風(fēng)流倜儻怎么可以和菜園窮丑丫頭一起呢？第二...

baihe 2019-08-23 16:48 評論0 收藏0
作為前端，你不得不知道的SEO

摘要：就是把你的頁面直接丟給百度的接口，親口告訴百度你有哪些頁面，這是效率最高也是收錄最快的方式了。百度在國內(nèi)搜索引擎的占有率最高，但是很不幸，它并不支持?jǐn)?shù)據(jù)的爬取。這些將作為搜索結(jié)果排序的重要依據(jù)。 ??研發(fā)的同學(xué)，其實很多人并沒有深入了解SEO這個概念。在技術(shù)博客里，提及這一塊的也寥寥無幾。我今天就拿自己的經(jīng)驗，簡單給大家掃個盲，有什么遺漏的地方，歡迎大家補充。 ??文字內(nèi)容有點多，但是...

UnixAgain 2019-08-26 11:59 評論0 收藏0
web前端關(guān)于瀏覽器兼容的一些知識和問題解決

摘要：瀏覽器兼容產(chǎn)生的原因因為不同瀏覽器使用內(nèi)核及所支持的等網(wǎng)頁語言標(biāo)準(zhǔn)不同。很早以前搜索引擎優(yōu)化百度百度專門給技術(shù)人員提供優(yōu)化方案，是一本白皮書。被抓取的網(wǎng)頁被稱之為網(wǎng)頁快照。 showImg(https://segmentfault.com/img/bVY9Mu?w=383&h=194); 瀏覽器兼容為什么產(chǎn)生瀏覽器兼容，瀏覽器兼容問題什么是瀏覽器兼容；所謂的瀏覽器兼容性問題，是指...

daydream 2019-08-21 17:46 評論0 收藏0