摘要:也就是說,這些基本庫都要安裝好。這次的安裝環(huán)境是,電腦是位,主要用安裝。最后就是安裝了,在里面安裝直接用安裝說明聽說用安裝可簡(jiǎn)單了,一個(gè)命令就搞定了,可惜我懶得試了。
0 前言
因?yàn)橐獙W(xué)一點(diǎn)爬蟲,我要安裝 Scrapy 這個(gè)庫,直接用 Pycharm 安裝就報(bào)錯(cuò), pip 也不行,所以要把 Scrapy 依賴的庫安裝好,然后再安裝 Scrapy 。也就是說,lxml、pyOpenSSL、Twisted、pywin32 這些基本庫都要安裝好。
這次的安裝環(huán)境是python3.6, 電腦是 32 位,主要用 Pycharm 安裝。
用 pycharm 安裝比較簡(jiǎn)單一點(diǎn)
也可以 cmd 內(nèi)輸入
pip install lxml
先 Win鍵+R,再輸入 cmd ,回車
進(jìn)來后輸入
pip install lxml
如果不行,則去下面的網(wǎng)站下載。
https://pypi.org/project/lxml...
https://www.lfd.uci.edu/~gohl...
比如我這臺(tái)電腦是 Python3.6,32位的就下載 lxml-4.2.1-cp36-cp36m-win32.whl
進(jìn)入 cmd,然后 cd 到文件的路徑下,接著就是
pip install lxml-4.2.1-cp36-cp36m-win32.whl
命令后面那一部分要和文件名保持一致,也就是 pip install 文件名.whl回車,等一會(huì)就安裝好了
用 pycharm 安裝或者
pip install pyOpenSSL
https://pypi.org/project/pyOp...
如果還不行,就下載圖中的這個(gè),然后進(jìn)入 cmd 用 pip 安裝 whl文件
我這里用 Pycharm 安裝不了,pip install Twisted 也不行,直接去下載 whl 文件回來安裝
https://www.lfd.uci.edu/~gohl...
https://pypi.org/project/Twis...
電腦是 python3.6 ,32 位的電腦,所以下載的是 Twisted-18.4.0-cp36-cp36m-win32.whl
進(jìn)入 cmd ,cd 到文件目錄下,輸入命令
pip install Twisted-18.4.0-cp36-cp36m-win32.whl
命令后面那一部分要和文件名保持一致,也就是 pip install 文件名.whl,回車,等一會(huì)就安裝好了。
pycharm 安裝或者 pip install pywin32
https://sourceforge.net/proje...
如果不行,下載 exe 文件,下載回來直接運(yùn)行一下就好。
最后就是安裝 Scrapy 了,在 pycharm 里面安裝
直接用 pip 安裝
pip install Scrapy2 說明
聽說用 Anaconda 安裝可簡(jiǎn)單了,一個(gè)命令就搞定了,可惜我懶得試了。
conda install Scrapy
Anaconda下載鏈接:https://www.anaconda.com/down...
本次的參考資料是小怪大佬的知識(shí)星球【scrapy 爬蟲課程】里的資料,這里就不放出來了。
文章首發(fā)于本人公眾號(hào),歡迎關(guān)注~
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/41783.html
摘要:好啦一切準(zhǔn)備工作就緒,現(xiàn)在開始安裝庫安裝成功后,安裝就簡(jiǎn)單了,在命令提示符窗口直接輸入命令回車現(xiàn)在一切都搞定了,可以新建一個(gè)測(cè)試,敲一個(gè)基于框架的爬蟲程序咯。 最近忽然有了想要學(xué)習(xí)python爬蟲的想法,但是首先需要安裝工具。python安裝倒是很輕松,只要傻瓜式一鍵安裝即可,但是在Windows下安裝scrapy倒不是件容易的事情。言歸正傳,說下我從昨天下午到今天上午安裝的步驟: 1...
摘要:一基礎(chǔ)環(huán)境由于不是職業(yè)的開發(fā)者,因此環(huán)境是基于的。二安裝打開命令行工具創(chuàng)建虛擬環(huán)境,默認(rèn)情況下會(huì)創(chuàng)建目錄,所有的虛擬環(huán)境都會(huì)產(chǎn)生一個(gè)子目錄保存在此,里面包含基本程序文件以及庫文件。 目錄 基于 Python 的 Scrapy 爬蟲入門:環(huán)境搭建 基于 Python 的 Scrapy 爬蟲入門:頁面提取 基于 Python 的 Scrapy 爬蟲入門:圖片處理 作為一個(gè)全棧工程師(...
摘要:是最有名的爬蟲框架之一,可以很方便的進(jìn)行抓取,并且提供了很強(qiáng)的定制型,這里記錄簡(jiǎn)單學(xué)習(xí)的過程和在實(shí)際應(yīng)用中會(huì)遇到的一些常見問題一安裝在安裝之前有一些依賴需要安裝,否則可能會(huì)安裝失敗,的選擇器依賴于,還有網(wǎng)絡(luò)引擎,下面是下安裝的過程下安裝安裝 scrapy是python最有名的爬蟲框架之一,可以很方便的進(jìn)行web抓取,并且提供了很強(qiáng)的定制型,這里記錄簡(jiǎn)單學(xué)習(xí)的過程和在實(shí)際應(yīng)用中會(huì)遇到的一...
閱讀 3057·2021-09-22 14:59
閱讀 1885·2021-09-22 10:02
閱讀 2120·2021-09-04 16:48
閱讀 2269·2019-08-30 15:53
閱讀 2972·2019-08-30 11:27
閱讀 3414·2019-08-29 18:35
閱讀 969·2019-08-29 17:07
閱讀 2678·2019-08-29 13:27