摘要:在本書中用到的一些服務(wù)程序主要有。本節(jié)來(lái)分別介紹它們的安裝方法。的安裝是一個(gè)輕量級(jí)的服務(wù)程序,簡(jiǎn)單易用靈活,在本書中我們主要用它來(lái)做一些服務(wù),本節(jié)我們來(lái)了解下它的安裝方式。相關(guān)鏈接官方文檔安裝執(zhí)行完畢之后即可完成安裝。
上一篇文章:Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---5、存儲(chǔ)庫(kù)的安裝:PyMySQL、PyMongo、RedisPy、RedisDump
下一篇文章:Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---7、Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---APP爬取相關(guān)庫(kù)的安裝:Charles的安裝
Web 想必我們都不陌生,我們現(xiàn)在日常訪問(wèn)的網(wǎng)站都是 Web 服務(wù)程序搭建而成的,Python 同樣不例外也有一些這樣的 Web 服務(wù)程序,比如 Flask、Django 等,我們可以拿它來(lái)開發(fā)網(wǎng)站,開發(fā)接口等等。
在本書中,我們主要要用到這些 Web 服務(wù)程序來(lái)搭建一些 API 接口,供我們的爬蟲使用。例如,維護(hù)一個(gè)代理池,代理保存在 Redis 數(shù)據(jù)庫(kù)中,我們要將代理池作為一個(gè)公共的組件使用,那么如何構(gòu)建一個(gè)方便的平臺(tái)來(lái)供我們?nèi)∮眠@些代理呢?最合適不過(guò)的就是通過(guò) Web 服務(wù)提供一個(gè) API 接口,我們只需要請(qǐng)求接口即可獲取新的代理,簡(jiǎn)單、高效、實(shí)用。
在本書中用到的一些 Web 服務(wù)程序主要有 Flask、Tornado。
本節(jié)來(lái)分別介紹它們的安裝方法。
1.5.1 Flask的安裝Flask 是一個(gè)輕量級(jí)的 Web 服務(wù)程序,簡(jiǎn)單、易用、靈活,在本書中我們主要用它來(lái)做一些 API 服務(wù),本節(jié)我們來(lái)了解下它的安裝方式。
1. 相關(guān)鏈接GitHub:https://github.com/pallets/flask
官方文檔:http://flask.pocoo.org
中文文檔:http://docs.jinkan.org/docs/f...
PyPi:https://pypi.python.org/pypi/...
2. Pip安裝pip3 install flask
運(yùn)行完畢之后就可以完成安裝。
3. 驗(yàn)證安裝安裝成功之后可以運(yùn)行如下實(shí)例代碼測(cè)試一下:
from flask import Flask app = Flask(__name__) @app.route("/") def hello(): ??? return "Hello World!" if __name__ == "__main__": ??? app.run()
直接運(yùn)行代碼,可以發(fā)現(xiàn)系統(tǒng)會(huì)在 5000 端口開啟 Web 服務(wù),控制臺(tái)輸出如下:
* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)
直接訪問(wèn):http://127.0.0.1:5000/,可以觀察到網(wǎng)頁(yè)中呈現(xiàn)了 Hello World!,如圖 1-41 所示:
圖 1-41 運(yùn)行結(jié)果
這樣一個(gè)最簡(jiǎn)單的 Flask 程序就運(yùn)行成功了。
在后文我們會(huì)利用 Flask+Redis 維護(hù)動(dòng)態(tài)代理池和 Cookies 池。
1.5.2 Tornado的安裝Tornado 是一個(gè)支持異步的Web框架,通過(guò)使用非阻塞 I/O 流,它可以支撐成千上萬(wàn)的開放連接,效率非常高,本節(jié)我們介紹一下它的安裝方式。
1. 相關(guān)鏈接*GitHub:https://github.com/tornadoweb...
PyPi:https://pypi.python.org/pypi/...
官方文檔:http://www.tornadoweb.org
pip3 install tornado
執(zhí)行完畢之后即可完成安裝。
3. 驗(yàn)證安裝同樣在這里我們也可以用一個(gè) Hello World 程序測(cè)試一下,代碼如下:
import tornado.ioloop import tornado.web class MainHandler(tornado.web.RequestHandler): ??? def get(self): ??????? self.write("Hello, world") def make_app(): ??? return tornado.web.Application([ ??????? (r"/", MainHandler), ??? ]) if __name__ == "__main__": ??? app = make_app() ??? app.listen(8888) ??? tornado.ioloop.IOLoop.current().start()
直接運(yùn)行程序,可以發(fā)現(xiàn)系統(tǒng)在 8888 端口運(yùn)行了 Web 服務(wù),控制臺(tái)沒(méi)有輸出內(nèi)容,此時(shí)訪問(wèn):http://127.0.0.1:8888/,可以觀察到網(wǎng)頁(yè)中呈現(xiàn)了 Hello, world,如圖 1-42 所示:
圖 1-42 運(yùn)行結(jié)果
出現(xiàn)上述情景就說(shuō)明 Tornado 成功安裝了。
在后文我們會(huì)利用 Tornado+Redis 來(lái)搭建一個(gè) ADSL 撥號(hào)代理池。
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/44043.html
摘要:相關(guān)鏈接官方文檔安裝推薦使用安裝,命令如下運(yùn)行完畢之后即可完成的安裝。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)數(shù)據(jù)庫(kù)的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)庫(kù)的安裝 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---4、數(shù)據(jù)庫(kù)的安裝:MySQL、MongoDB、Redis下一篇文章:Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---6、Web庫(kù)的安裝:Flask、Tornado 在前面一節(jié)我們介紹了幾個(gè)數(shù)據(jù)庫(kù)的安裝方式,但這僅僅是用來(lái)存...
摘要:點(diǎn)擊,即可進(jìn)入證書的安裝頁(yè)面。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)庫(kù)的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬取相關(guān)庫(kù)的安裝的安裝 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---6、Web庫(kù)的安裝:Flask、Tornado下一篇文章:Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---8、APP爬取相關(guān)庫(kù)的安裝:MitmProxy的安裝 除了 Web 網(wǎng)頁(yè),爬蟲也可以對(duì) APP 的數(shù)據(jù)進(jìn)行抓取,APP 中的頁(yè)面要加載出來(lái),首先需...
摘要:所以如果對(duì)爬蟲有一定基礎(chǔ),上手框架是一種好的選擇。缺少包,使用安裝即可缺少包,使用安裝即可上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬取相關(guān)庫(kù)的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲框架的安裝 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---9、APP爬取相關(guān)庫(kù)的安裝:Appium的安裝下一篇文章:Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---11、爬蟲框架的安裝:ScrapySplash、ScrapyRedis 我們直接...
摘要:面試的心得體會(huì)簡(jiǎn)歷制作我做了兩份簡(jiǎn)歷,用兩個(gè)手機(jī)賬號(hào),兩個(gè)簡(jiǎn)歷名字,分別在各個(gè)招聘網(wǎng)站投了雙份簡(jiǎn)歷,一個(gè)是數(shù)據(jù)分析的簡(jiǎn)歷一個(gè)是全棧開發(fā)的簡(jiǎn)歷,我真正接觸快年,不管是學(xué)習(xí)還是工作學(xué)到的東西,這兩年大概掌握了前端爬蟲數(shù)據(jù)分析機(jī)器學(xué)習(xí)技術(shù), showImg(https://upload-images.jianshu.io/upload_images/13090773-b96aac7e974c...
摘要:下的安裝的安裝非常簡(jiǎn)單,使用即可,命令如下執(zhí)行命令后即可完成的安裝。另外還可以在端口上啟動(dòng),命令如下更多啟動(dòng)方式可以參考的安裝說(shuō)明。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬取相關(guān)庫(kù)的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬取相關(guān)庫(kù)的安裝的安裝 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---7、Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---APP爬取相關(guān)庫(kù)的安裝:Charles的安裝下一篇文章:Python3網(wǎng)絡(luò)...
閱讀 1343·2021-11-11 10:57
閱讀 3757·2021-09-07 10:10
閱讀 3466·2021-08-03 14:03
閱讀 3097·2019-08-30 13:45
閱讀 712·2019-08-29 11:19
閱讀 1066·2019-08-28 18:07
閱讀 3131·2019-08-26 13:55
閱讀 842·2019-08-26 12:17