時隔五年，Scrapyd 終于原生支持 basic auth

keithxiaoy 發(fā)布于2019-07-31 10:23 / 1592人閱讀

摘要：試用安裝更新配置文件，其余配置項詳見官方文檔啟動由于的最新提交已經(jīng)重構了頁面，如果正在使用管理，則需同步更新

Issue in 2014

scrapy/scrapyd/issues/43

Pull request in 2019

scrapy/scrapyd/pull/326

試用

安裝：pip install -U git+https://github.com/my8100/scrapyd.git@add_basic_auth

更新配置文件 scrapyd.conf，其余配置項詳見官方文檔

[scrapyd]
username = yourusername
password = yourpassword

啟動：scrapyd

In [1]: import requests

In [2]: requests.get("http://127.0.0.1:6800/").status_code
Out[2]: 401

In [3]: requests.get("http://127.0.0.1:6800/", auth=("admin", "admin")).status_code
Out[3]: 401

In [4]: requests.get("http://127.0.0.1:6800/", auth=("yourusername", "yourpassword")).status_code
Out[4]: 200

由于 Scrapyd 的 GitHub 最新提交已經(jīng)重構了 Jobs 頁面，如果正在使用 ScrapydWeb 管理 Scrapyd，則需同步更新 ScrapydWeb：pip install -U git+https://github.com/my8100/scrapydweb.git

GitHub

my8100/scrapyd

GPU云服務器云服務器開源微服務框架原生支持 scrapyd 時隔終于找到

文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://systransis.cn/yun/43741.html

spiderkeeper 部署&操作

摘要：前言最近發(fā)現(xiàn)了一個的庫這個庫的主要用途是在于配合這管理你的爬蟲支持一鍵式部署定時采集任務啟動暫停等一系列的操作簡單來說將的進行封裝最大限度減少你跟命令行交互次數(shù)不得說這個是很棒的事情的連接環(huán)境配置由于是基于以上的版本兼容性較好所以我們需要的前言最近發(fā)現(xiàn)了一個spdierkeeper的庫,這個庫的主要用途是在于.配合這scrpyd管理你的爬蟲,支持一鍵式部署,定時采集任務,啟動,暫停...

Neilyo 2019-07-30 15:39 評論0 收藏0
基于Docker的Scrapy+Scrapyd+Scrapydweb部署

摘要：如需遠程訪問，則需在配置文件中設置，然后重啟。詳見如果是同個容器，直接使用即可，這里是演示了不同容器或主機下的情況訪問即可文章開始，先摘錄一下文中各軟件的官方定義Scrapy An open source and collaborative framework for extracting the data youneed from websites.In a fast, simpl...

defcon 2019-06-28 16:57 評論0 收藏0
基于Docker的Scrapy+Scrapyd+Scrapydweb部署

摘要：如需遠程訪問，則需在配置文件中設置，然后重啟。詳見如果是同個容器，直接使用即可，這里是演示了不同容器或主機下的情況訪問即可文章開始，先摘錄一下文中各軟件的官方定義Scrapy An open source and collaborative framework for extracting the data youneed from websites.In a fast, simpl...

陳偉 2019-07-30 18:43 評論0 收藏0
Python3網(wǎng)絡爬蟲實戰(zhàn)---12、部署相關庫的安裝：Docker、Scrapyd

摘要：阿里云安裝腳本安裝腳本兩個腳本可以任選其一，速度都非常不錯。推薦的加速器有和阿里云。阿里云不同平臺的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說明。上一篇文章網(wǎng)絡爬蟲實戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡爬蟲實戰(zhàn)部署相關庫上一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---...

ityouknow 2019-07-31 10:34 評論0 收藏0
如何通過 Scrapyd + ScrapydWeb 簡單高效地部署和監(jiān)控分布式爬蟲項目

摘要：支持一鍵部署項目到集群。添加郵箱帳號設置郵件工作時間和基本觸發(fā)器，以下示例代表每隔小時或當某一任務完成時，并且當前時間是工作日的點，點和點，將會發(fā)送通知郵件。除了基本觸發(fā)器，還提供了多種觸發(fā)器用于處理不同類型的，包括和等。 showImg(https://segmentfault.com/img/remote/1460000018772067?w=1680&h=869); 安裝和配置 ...

zsirfs 2019-07-30 18:34 評論0 收藏0