資訊專欄INFORMATION COLUMN
摘要：相關(guān)鏈接使用說明安裝推薦使用安裝，命令如下驗證安裝安裝成功后會有一個可用命令，叫做，即部署命令。我們可以輸入如下測試命令測試是否安裝成功如果出現(xiàn)如圖類似輸出則證明已經(jīng)成功安裝圖運行結(jié)果在后文我們會詳細了解它的用法。
上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---12、部署相關(guān)庫的安裝：Docker、ScrapydScrapydClient的安裝
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---14、部署相關(guān)庫的安裝：Scrapyrt、Gerapy
在將 Scrapy 代碼部署到遠程 Scrapyd 的時候，其第一步就是要將代碼打包為 Egg 文件，其次需要將 Egg 文件上傳到遠程主機，這個過程如果我們用程序來實現(xiàn)是完全可以的，但是我們并不需要做這些工作，因為 ScrapydClient 已經(jīng)為我們實現(xiàn)了這些功能。
下面我們就來過一下 ScrapydClient 的安裝過程。
GitHub：https://github.com/scrapy/scr...
PyPi：https://pypi.python.org/pypi/...
使用說明：https://github.com/scrapy/scr...
2. Pip安裝推薦使用 Pip 安裝，命令如下：
pip3 install scrapyd-client3. 驗證安裝
安裝成功后會有一個可用命令，叫做 scrapyd-deploy，即部署命令。
我們可以輸入如下測試命令測試 ScrapydClient 是否安裝成功：
scrapyd-deploy -h
如果出現(xiàn)如圖 1-87 類似輸出則證明 ScrapydClient 已經(jīng)成功安裝:
圖 1-87 運行結(jié)果
在后文我們會詳細了解它的用法。
安裝好了 Scrapyd 之后，我們可以直接請求它提供的 API 即可獲取當前主機的 Scrapy 任務(wù)運行狀況。
如某臺主機的 IP 為 192.168.1.1，則可以直接運行如下命令獲取當前主機的所有 Scrapy 項目：
curl http://localhost:6800/listprojects.json
運行結(jié)果：
{"status": "ok", "projects": ["myproject", "otherproject"]}
返回結(jié)果是 Json 字符串，通過解析這個字符串我們便可以得到當前主機所有項目。
但是用這種方式來獲取任務(wù)狀態(tài)還是有點繁瑣，所以 ScrapydAPI 就為它做了一層封裝，下面我們來看下它的安裝方式。
1. 相關(guān)鏈接GitHub：https://pypi.python.org/pypi/...
PyPi：https://pypi.python.org/pypi/...
官方文檔：http://python-scrapyd-api.rea...
2. Pip安裝推薦使用 Pip 安裝，命令如下：
pip install python-scrapyd-api3. 驗證安裝
安裝完成之后便可以使用 Python 來獲取主機狀態(tài)了，所以如上的操作便可以用 Python 代碼實現(xiàn)：
from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI("http://localhost:6800")
print(scrapyd.list_projects())
運行結(jié)果：
["myproject", "otherproject"]
這樣我們便可以用 Python 直接來獲取各個主機上 Scrapy 任務(wù)的運行狀態(tài)了。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/44031.html
摘要：相關(guān)鏈接官方文檔安裝推薦使用安裝，命令如下命令執(zhí)行完畢之后即可完成安裝。的安裝是一個分布式管理模塊，本節(jié)來介紹一下的安裝方式。如果沒有錯誤報出，則證明庫已經(jīng)安裝好了。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)部署相關(guān)庫下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬蟲基礎(chǔ)基本原理 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---13、部署相關(guān)庫ScrapydClient、ScrapydAPI下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)--...
摘要：阿里云安裝腳本安裝腳本兩個腳本可以任選其一，速度都非常不錯。推薦的加速器有和阿里云。阿里云不同平臺的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說明。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)部署相關(guān)庫 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---...
摘要：上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)部署相關(guān)庫的安裝的安裝是一個中支持渲染的工具，本節(jié)來介紹一下它的安裝方式。另外一個是的庫的安裝，安裝之后即可在中使用服務(wù)。 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---10、爬蟲框架的安裝：PySpider、Scrapy下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---12、部署相關(guān)庫的安裝：Docker、Scrapyd Scrap...
摘要：點擊，即可進入證書的安裝頁面。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)庫的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---6、Web庫的安裝：Flask、Tornado下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---8、APP爬取相關(guān)庫的安裝：MitmProxy的安裝 除了 Web 網(wǎng)頁，爬蟲也可以對 APP 的數(shù)據(jù)進行抓取，APP 中的頁面要加載出來，首先需...
摘要：下的安裝的安裝非常簡單，使用即可，命令如下執(zhí)行命令后即可完成的安裝。另外還可以在端口上啟動，命令如下更多啟動方式可以參考的安裝說明。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---7、Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---APP爬取相關(guān)庫的安裝：Charles的安裝下一篇文章：Python3網(wǎng)絡(luò)...
閱讀 1373·2021-11-11 16:54
閱讀 2402·2021-09-22 10:51
閱讀 2664·2019-08-30 15:44
閱讀 3217·2019-08-29 17:05
閱讀 1464·2019-08-29 17:01
閱讀 2921·2019-08-29 12:28
閱讀 2485·2019-08-26 13:50
閱讀 1740·2019-08-23 16:47
