成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedi

harryhappy / 1305人閱讀

摘要：上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)部署相關(guān)庫的安裝的安裝是一個中支持渲染的工具，本節(jié)來介紹一下它的安裝方式。另外一個是的庫的安裝，安裝之后即可在中使用服務(wù)。

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---10、爬蟲框架的安裝：PySpider、Scrapy
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---12、部署相關(guān)庫的安裝：Docker、Scrapyd
ScrapySplash的安裝

ScrapySplash 是一個 Scrapy 中支持 JavaScript 渲染的工具，本節(jié)來介紹一下它的安裝方式。
ScrapySplash 的安裝分為兩部分，一個是是 Splash 服務(wù)的安裝，安裝方式是通過 Docker，安裝之后會啟動一個 Splash 服務(wù)，我們可以通過它的接口來實(shí)現(xiàn) JavaScript 頁面的加載。另外一個是 ScrapySplash 的 Python 庫的安裝，安裝之后即可在 Scrapy 中使用 Splash 服務(wù)。

1. 相關(guān)鏈接

GitHub：https://github.com/scrapy-plu...

PyPi：https://pypi.python.org/pypi/...

使用說明：https://github.com/scrapy-plu...

Splash 官方文檔：http://splash.readthedocs.io

2. 安裝Splash

ScrapySplash 會使用 Splash 的 HTTP API 進(jìn)行頁面渲染，所以我們需要安裝 Splash 來提供渲染服務(wù)，安裝是通過 Docker 安裝，在這之前請確保已經(jīng)正確安裝好了 Docker。
安裝命令如下：

docker run -p 8050:8050 scrapinghub/splash

安裝完成之后會有類似的輸出結(jié)果：

2017-07-03 08:53:28+0000 [-] Log opened.
2017-07-03 08:53:28.447291 [-] Splash version: 3.0
2017-07-03 08:53:28.452698 [-] Qt 5.9.1, PyQt 5.9, WebKit 602.1, sip 4.19.3, Twisted 16.1.1, Lua 5.2
2017-07-03 08:53:28.453120 [-] Python 3.5.2 (default, Nov 17 2016, 17:05:23) [GCC 5.4.0 20160609]
2017-07-03 08:53:28.453676 [-] Open files limit: 1048576
2017-07-03 08:53:28.454258 [-] Can"t bump open files limit
2017-07-03 08:53:28.571306 [-] Xvfb is started: ["Xvfb", ":1599197258", "-screen", "0", "1024x768x24", "-nolisten", "tcp"]
QStandardPaths: XDG_RUNTIME_DIR not set, defaulting to "/tmp/runtime-root"
2017-07-03 08:53:29.041973 [-] proxy profiles support is enabled, proxy profiles path: /etc/splash/proxy-profiles
2017-07-03 08:53:29.315445 [-] verbosity=1
2017-07-03 08:53:29.315629 [-] slots=50
2017-07-03 08:53:29.315712 [-] argument_cache_max_entries=500
2017-07-03 08:53:29.316564 [-] Web UI: enabled, Lua: enabled (sandbox: enabled)
2017-07-03 08:53:29.317614 [-] Site starting on 8050
2017-07-03 08:53:29.317801 [-] Starting factory

這樣就證明 Splash 已經(jīng)在 8050 端口上運(yùn)行了。
這時我們打開：http://localhost:8050 即可看到 Splash 的主頁，如圖 1-81 所示：

圖 1-81 運(yùn)行頁面
當(dāng)然 Splash 也可以直接安裝在遠(yuǎn)程服務(wù)器上，我們在服務(wù)器上運(yùn)行以守護(hù)態(tài)運(yùn)行 Splash 即可，命令如下：

docker run -d -p 8050:8050 scrapinghub/splash

在這里多了一個 -d 參數(shù)，它代表將 Docker 容器以守護(hù)態(tài)運(yùn)行，這樣在中斷遠(yuǎn)程服務(wù)器連接后不會終止 Splash 服務(wù)的運(yùn)行。

3. ScrapySplash的安裝

成功安裝了 Splash 之后，我們接下來再來安裝一下其 Python 庫，安裝命令如下：

pip3 install scrapy-splash

命令運(yùn)行完畢后就會成功安裝好此庫，后文我們會介紹它的詳細(xì)用法。

ScrapyRedis的安裝

ScrapyRedis 是 Scrapy 分布式的擴(kuò)展模塊，有了它我們可以方便地實(shí)現(xiàn) Scrapy 分布式爬蟲的搭建，本節(jié)來介紹一下 ScrapyRedis 的安裝方式。

1. 相關(guān)鏈接

GitHub：https://github.com/rmax/scrap...

PyPi：https://pypi.python.org/pypi/...

官方文檔：http://scrapy-redis.readthedo...

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install scrapy-redis
3. 測試安裝

安裝完成之后，可以在 Python 命令行下測試。

$ python3
>>> import scrapy_redis

如果沒有錯誤報出，則證明庫已經(jīng)安裝好了。

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/44033.html

相關(guān)文章

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---10、爬蟲框架的安裝：PySpider、Scrapy

    摘要：所以如果對爬蟲有一定基礎(chǔ)，上手框架是一種好的選擇。缺少包，使用安裝即可缺少包，使用安裝即可上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬取相關(guān)庫的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲框架的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---9、APP爬取相關(guān)庫的安裝：Appium的安裝下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis 我們直接...

    張憲坤 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---12、部署相關(guān)庫的安裝：Docker、Scrapyd

    摘要：阿里云安裝腳本安裝腳本兩個腳本可以任選其一，速度都非常不錯。推薦的加速器有和阿里云。阿里云不同平臺的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說明。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)部署相關(guān)庫 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---...

    ityouknow 評論0 收藏0

  • 首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

    摘要：時間永遠(yuǎn)都過得那么快，一晃從年注冊，到現(xiàn)在已經(jīng)過去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時候把他們整理一下了。那是因?yàn)槭詹貖A太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...

    Harriet666 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---9、APP爬取相關(guān)庫的安裝：Appium的安裝

    摘要：支持全平臺的安裝，我們直接從的里面安裝即可，鏈接為。平臺可以下載安裝包如，平臺可以下載安裝包如，平臺可以選擇下載源碼，但是更推薦用下文的安裝方式。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬取相關(guān)庫的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲框架的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---8、APP爬取相關(guān)庫的安裝：MitmProxy的安裝下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---10、爬蟲框架的安裝...

    caige 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---5、存儲庫的安裝:PyMySQL、PyMongo、RedisPy、R

    摘要：相關(guān)鏈接官方文檔安裝推薦使用安裝，命令如下運(yùn)行完畢之后即可完成的安裝。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)數(shù)據(jù)庫的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)庫的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---4、數(shù)據(jù)庫的安裝：MySQL、MongoDB、Redis下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---6、Web庫的安裝：Flask、Tornado 在前面一節(jié)我們介紹了幾個數(shù)據(jù)庫的安裝方式，但這僅僅是用來存...

    AlanKeene 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<