scrapyd部署爬蟲項目到LINUX服務(wù)器

cppowboy 發(fā)布于2019-07-30 18:39 / 1648人閱讀

摘要：，首先把爬蟲項目上傳到服務(wù)器我的服務(wù)器架設(shè)在公司內(nèi)網(wǎng)里。部署名會在后面的部署項目環(huán)節(jié)用到。新項目創(chuàng)建創(chuàng)建完成。，部署項目的文件想要爬蟲程序真正進行抓取起來，還有一步。選擇文件，部署文件至此，部署爬蟲項目就結(jié)束了。

1，首先把scrapy爬蟲項目上傳到服務(wù)器
我的服務(wù)器架設(shè)在公司內(nèi)網(wǎng)里。所以在這里使用WinSCP作為上傳工具。

2，修改項目的配置文件scrapy.cfg

給爬蟲項目指定分組，具體方法是在deploy:之后添加部署名，比如圖中的項目，部署名是sf。
部署名會在后面的部署項目環(huán)節(jié)用到。
打開url行的注釋，并且配置一臺安裝scrapyd的服務(wù)器

3，使用scrapyd-deploy部署爬蟲項目到linux
在命令行輸入 scrapyd-deploy -l 可以顯示當前部署的項目

4，執(zhí)行打包命令，完成項目部署
scrapyd-deploy 部署名 -p 項目名

5，然后編譯爬蟲項目
依然使用scrapyd-deploy命令完成
scrapyd-deploy --build-egg 項目編譯文件.egg

6，在spiderkeeper中新建項目
點擊projects按鈕，
選擇create project選項

隨后彈出遮罩框，然后給新項目起名字，點擊create按鈕。新項目創(chuàng)建創(chuàng)建完成。

7，部署項目的egg文件
想要爬蟲程序真正進行抓取起來，還有一步。就是將egg文件部署到項目上。
選擇egg文件，部署文件

至此，scrapyd部署爬蟲項目就結(jié)束了。

GPU云服務(wù)器云服務(wù)器怎么將項目部署到linux服務(wù)器項目部署到云服務(wù)器部署項目到云服務(wù)器 javaweb項目部署到服務(wù)器

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/42813.html

相關(guān)文章

Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---12、部署相關(guān)庫的安裝：Docker、Scrapyd

摘要：阿里云安裝腳本安裝腳本兩個腳本可以任選其一，速度都非常不錯。推薦的加速器有和阿里云。阿里云不同平臺的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說明。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)部署相關(guān)庫上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---...

ityouknow 2019-07-31 10:34 評論0 收藏0
Scrapy-Cluster結(jié)合Spiderkeeper管理分布式爬蟲

摘要：分布式爬蟲，分發(fā)網(wǎng)址是基于地址。注意要使用管理同一個集群，爬蟲項目名稱須一致，同時集群中配置相同任務(wù)瀏覽器訪問啟動爬蟲時即可看見兩個集群配置，啟動同名爬蟲開始分布式爬蟲啟動分布式爬蟲后狀態(tài) Scrapy-cluster 建設(shè) 基于Scrapy-cluster庫的kafka-monitor可以實現(xiàn)分布式爬蟲 Scrapyd+Spiderkeeper實現(xiàn)爬蟲的可視化管理環(huán)境 IP...

bingo 2019-07-30 17:45 評論0 收藏0
scrapy 進階使用

摘要：下載器負責(zé)獲取頁面，然后將它們交給引擎來處理。內(nèi)置了一些下載器中間件，這些中間件將在后面介紹。下載器中間件下載器中間件可以在引擎和爬蟲之間操縱請求和響應(yīng)對象。爬蟲中間件與下載器中間件類似，啟用爬蟲中間件需要一個字典來配置。前段時間我寫了一篇《scrapy快速入門》，簡單介紹了一點scrapy的知識。最近我的搬瓦工讓墻了，而且我又學(xué)了一點mongodb的知識，所以這次就來介紹一些scr...

The question 2019-07-31 11:02 評論0 收藏0
如何通過 Scrapyd + ScrapydWeb 簡單高效地部署和監(jiān)控分布式爬蟲項目

摘要：支持一鍵部署項目到集群。添加郵箱帳號設(shè)置郵件工作時間和基本觸發(fā)器，以下示例代表每隔小時或當某一任務(wù)完成時，并且當前時間是工作日的點，點和點，將會發(fā)送通知郵件。除了基本觸發(fā)器，還提供了多種觸發(fā)器用于處理不同類型的，包括和等。 showImg(https://segmentfault.com/img/remote/1460000018772067?w=1680&h=869); 安裝和配置 ...

zsirfs 2019-07-30 18:34 評論0 收藏0
部署Scrapy分布式爬蟲項目

摘要：以上示例代表當發(fā)現(xiàn)條或條以上的級別的時，自動停止當前任務(wù)，如果當前時間在郵件工作時間內(nèi)，則同時發(fā)送通知郵件。 showImg(https://segmentfault.com/img/remote/1460000018052810); 一、需求分析初級用戶：只有一臺開發(fā)主機能夠通過 Scrapyd-client 打包和部署 Scrapy 爬蟲項目，以及通過 Scrapyd JS...

techstay 2019-07-31 10:01 評論0 收藏0