資訊專欄INFORMATION COLUMN
摘要：使用添加到系統(tǒng)常量查看是否安裝成功使用案例先添加了文件比如代碼如下開始渲染睡眠函數(shù)使用命令使用將渲染網(wǎng)頁(yè)，并且將結(jié)果寫入到中，可以供后續(xù)程序抓取所需數(shù)據(jù)文件目標(biāo)網(wǎng)頁(yè)
ubuntu下面可以直接使用命令安裝
sudo apt-get install phantomjs
wget https://bitbucket.org/ariya/p...
下載源碼wget https://bitbucket.org/ariya/p...
解壓源碼，沒(méi)有unzip命令的請(qǐng)使用yum install unzip 安裝unzip phantomjs-2.0.0-source.zip
安裝編譯環(huán)境yum -y install gcc gcc-c++ make flex bison gperf ruby
openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel
libpng-devel libjpeg-devel
cd phantomjs-2.0.0
./build.sh
編譯操作耗時(shí)會(huì)比較長(zhǎng)（可以大于半個(gè)小時(shí)），耐心等待完成。編譯完成后會(huì)多出一個(gè) bin 目錄，里面有編譯完成的 phantomjs 文件。
添加到系統(tǒng)常量：
cp phantomjs /usr/local/bin
查看是否安裝成功：
phantomjs --version
使用案例（先添加了js文件比如：profile.js,代碼如下）：
var page = require("webpage").create(),
system = require("system"),
url;
if(system.args.length === 1){
phantomjs.exit(1);
}else{
url = system.args[1];
//開始渲染url
page.open(url,function (status){
if(status !== "success"){
phantom.exit();
}else{
var sc =page.evaluate(function (){
return document.body.innerHTML;
});
window.setTimeout(function (){
console.log(sc);
phantom.exit();
},1000)
}
});
}
//睡眠函數(shù)
function sleep(ms){
console.log("start s:"+new Date()/1000);
ms += new Date().getTime();
while(new Date()
使用命令：
# 使用phantomjs將渲染網(wǎng)頁(yè)，并且將結(jié)果寫入到/tmp/test8.txt中，可以供后續(xù)程序抓取所需數(shù)據(jù)
# phantomjs js文件 目標(biāo)網(wǎng)頁(yè)
phantomjs profile.js https://nike.tmall.com/view_shop.htm 1> /tmp/test8.txt
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/82921.html
摘要：最近因?yàn)橐粋€(gè)活兒所以要完成抓取網(wǎng)頁(yè)截圖這個(gè)需求，我研究了幾個(gè)工具，就向大家分享一下我們的方案了。第二個(gè)方案方案分析理由是支持各個(gè)平臺(tái)的，而且用起來(lái)很方便。 最近因?yàn)橐粋€(gè)活兒所以要完成抓取網(wǎng)頁(yè)截圖這個(gè)需求，我研究了幾個(gè)工具，就向大家分享一下我們的方案了。假如有什么錯(cuò)誤和更好的提議，歡迎拍磚。 因?yàn)橹Ц秾氁呀?jīng)做過(guò)類似的功能，所以我就咨詢了@天材他們的方案，感謝他提供了寶貴的資料作參考...
摘要：所以，靈活的抓取控制是必須的?？梢?jiàn)，這個(gè)項(xiàng)目對(duì)于爬蟲的監(jiān)控和調(diào)度要求是非常高的。它全面支持而不需瀏覽器支持，其快速原生支持各種標(biāo)準(zhǔn)處理選擇器和。 PySpider 簡(jiǎn)介 PySpider是一個(gè)國(guó)人編寫的強(qiáng)大的網(wǎng)絡(luò)爬蟲系統(tǒng)并帶有強(qiáng)大的WebUI。采用Python語(yǔ)言編寫，分布式架構(gòu)，支持多種數(shù)據(jù)庫(kù)后端，強(qiáng)大的WebUI支持腳本編輯器、任務(wù)監(jiān)視器，項(xiàng)目管理器以及結(jié)果查看器。PySpider...
摘要：所以，靈活的抓取控制是必須的。可見(jiàn)，這個(gè)項(xiàng)目對(duì)于爬蟲的監(jiān)控和調(diào)度要求是非常高的。它全面支持而不需瀏覽器支持，其快速原生支持各種標(biāo)準(zhǔn)處理選擇器和。 PySpider 簡(jiǎn)介 PySpider是一個(gè)國(guó)人編寫的強(qiáng)大的網(wǎng)絡(luò)爬蟲系統(tǒng)并帶有強(qiáng)大的WebUI。采用Python語(yǔ)言編寫，分布式架構(gòu)，支持多種數(shù)據(jù)庫(kù)后端，強(qiáng)大的WebUI支持腳本編輯器、任務(wù)監(jiān)視器，項(xiàng)目管理器以及結(jié)果查看器。PySpider...
閱讀 902·2021-11-22 09:34
閱讀 1041·2021-10-08 10:16
閱讀 1849·2021-07-25 21:42
閱讀 1815·2019-08-30 15:53
閱讀 3549·2019-08-30 13:08
閱讀 2212·2019-08-29 17:30
閱讀 3370·2019-08-29 17:22
閱讀 2207·2019-08-29 15:35
