Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---4、數(shù)據(jù)庫的安裝：MySQL、MongoDB、Redis

xbynet 發(fā)布于2019-07-31 10:33 / 3606人閱讀

摘要：運(yùn)行結(jié)果如果運(yùn)行結(jié)果一致則證明安裝成功。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)請(qǐng)求庫安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)數(shù)據(jù)庫的安裝

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---2、請(qǐng)求庫安裝：GeckoDriver、PhantomJS、Aiohttp
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---數(shù)據(jù)庫的安裝：MySQL、MongoDB、Redis

抓取下網(wǎng)頁代碼之后，下一步就是從網(wǎng)頁中提取信息，提取信息的方式有多種多樣，可以使用正則來提取，但是寫起來會(huì)相對(duì)比較繁瑣。在這里還有許多強(qiáng)大的解析庫，如 LXML、BeautifulSoup、PyQuery 等等，提供了非常強(qiáng)大的解析方法，如 XPath 解析、CSS 選擇器解析等等，利用它們我們可以高效便捷地從從網(wǎng)頁中提取出有效信息。

本節(jié)我們就來介紹一下這些庫的安裝過程。

1.2.1 LXML的安裝

LXML 是 Python 的一個(gè)解析庫，支持 HTML 和 XML 的解析，支持 XPath 解析方式，而且解析效率非常高。

1. 相關(guān)鏈接

官方網(wǎng)站：http://lxml.de

GitHub：https://github.com/lxml/lxml

PyPi：https://pypi.python.org/pypi/...

2. Mac下的安裝

pip3 install lxml

如果產(chǎn)生錯(cuò)誤，可以執(zhí)行如下命令將必要的類庫安裝：

xcode-select --install

之后再重新運(yùn)行 Pip 安裝就沒有問題了。

LXML 是一個(gè)非常重要的庫，后面的 BeautifulSoup、Scrapy 框架都需要用到此庫，所以請(qǐng)一定安裝成功。

3. 驗(yàn)證安裝

安裝完成之后，可以在 Python 命令行下測試。

$ python3
>>> import lxml

如果沒有錯(cuò)誤報(bào)出，則證明庫已經(jīng)安裝好了。

1.2.2 BeautifulSoup的安裝

BeautifulSoup 是 Python 的一個(gè) HTML 或 XML 的解析庫，我們可以用它來方便地從網(wǎng)頁中提取數(shù)據(jù)，它擁有強(qiáng)大的 API 和多樣的解析方式，本節(jié)我們了解下它的安裝方式。

1. 相關(guān)鏈接

官方文檔：https://www.crummy.com/softwa...

中文文檔：https://www.crummy.com/softwa...

PyPi：https://pypi.python.org/pypi/...

2. 準(zhǔn)備工作

BeautifulSoup 的 HTML 和 XML 解析器是依賴于 LXML 庫的，所以在此之前請(qǐng)確保已經(jīng)成功安裝好了 LXML 庫，具體的安裝方式參見上節(jié)。

3. Pip 安裝

目前 BeautifulSoup 的最新版本是 4.x 版本，之前的版本已經(jīng)停止開發(fā)了，推薦使用 Pip 來安裝，安裝命令如下：

pip3 install beautifulsoup4

命令執(zhí)行完畢之后即可完成安裝。

4. 驗(yàn)證安裝

安裝完成之后可以運(yùn)行下方的代碼驗(yàn)證一下。

from bs4 import BeautifulSoup
soup = BeautifulSoup("Hello", "lxml")
print(soup.p.string)

運(yùn)行結(jié)果：

Hello

如果運(yùn)行結(jié)果一致則證明安裝成功。

注意在這里我們雖然安裝的是 beautifulsoup4 這個(gè)包，但是在引入的時(shí)候是引入的 bs4，這是因?yàn)檫@個(gè)包源代碼本身的庫文件夾名稱就是 bs4，所以安裝完成之后，這個(gè)庫文件夾就被移入到我們本機(jī) Python3 的 lib 庫里，所以識(shí)別到的庫文件名稱就叫做 bs4，所以我們引入的時(shí)候就引入 bs4 這個(gè)包。

因此，包本身的名稱和我們使用時(shí)導(dǎo)入的包的名稱并不一定是一致的。

1.2.3 PyQuery的安裝

PyQuery 同樣是一個(gè)強(qiáng)大的網(wǎng)頁解析工具，它提供了和 jQuery 類似的語法來解析 HTML 文檔，支持 CSS 選擇器，使用非常方便，本節(jié)我們了解下它的安裝方式。

1. 相關(guān)鏈接

GitHub：https://github.com/gawel/pyquery

PyPi：https://pypi.python.org/pypi/...

官方文檔：http://pyquery.readthedocs.io

2. Pip安裝

pip3 install pyquery

3. 驗(yàn)證安裝

安裝完成之后，可以在 Python 命令行下測試。

$ python3
>>> import pyquery

如果沒有錯(cuò)誤報(bào)出，則證明庫已經(jīng)安裝好了。

1.2.4 Tesserocr的安裝

爬蟲過程中難免會(huì)遇到各種各樣的驗(yàn)證碼，而大多數(shù)驗(yàn)證碼還是圖形驗(yàn)證碼，這時(shí)候我們可以直接用 OCR 來識(shí)別。

1. OCR

OCR，即 Optical Character Recognition，光學(xué)字符識(shí)別。是指通過掃描字符，然后通過其形狀將其翻譯成電子文本的過程。那么對(duì)于圖形驗(yàn)證碼來說，它都是一些不規(guī)則的字符，但是這些字符確實(shí)是由字符稍加扭曲變換得到的內(nèi)容。
例如這樣的驗(yàn)證碼，如圖 1-22 和 1-23 所示：

圖 1-22 驗(yàn)證碼

圖 1-23 驗(yàn)證碼
對(duì)于這種驗(yàn)證碼，我們便可以使用 OCR 技術(shù)來將其轉(zhuǎn)化為電子文本，然后爬蟲將識(shí)別結(jié)果提交給服務(wù)器，便可以達(dá)到自動(dòng)識(shí)別驗(yàn)證碼的過程。
Tesserocr 是 Python 的一個(gè) OCR 識(shí)別庫，但其實(shí)是對(duì) Tesseract 做的一層 Python API 封裝，所以它的核心是 Tesseract，所以在安裝 Tesserocr 之前我們需要先安裝 Tesseract，本節(jié)我們來了解下它們的安裝方式。

2. 相關(guān)鏈接

Tesserocr GitHub：https://github.com/sirfz/tess...

Tesserocr PyPi：https://pypi.python.org/pypi/...

Tesseract下載地址：http://digi.bib.uni-mannheim....

Tesseract GitHub：https://github.com/tesseract-...

Tesseract 語言包：https://github.com/tesseract-...

Tesseract 文檔：https://github.com/tesseract-...

3. Mac下的安裝

Mac 下首先使用 Homebrew 安裝 Imagemagick 和 Tesseract 庫：

brew install imagemagick 
brew install tesseract

接下來再安裝 Tesserocr 即可：

pip3 install tesserocr pillow

這樣我們便完成了 Tesserocr 的安裝。

4. 驗(yàn)證安裝

接下來我們可以使用 Tesseract 和 Tesserocr 來分別進(jìn)行測試。
下面我們以如下的圖片為樣例進(jìn)行測試，如圖 1-26 所示：

圖 1-26 測試樣例
圖片鏈接為：https://raw.githubusercontent...，可以直接保存或下載。
我們首先用命令行進(jìn)行測試，將圖片下載保存為 image.png，然后用 Tesseract 命令行測試，命令如下：

tesseract image.png result -l eng && cat result.txt

運(yùn)行結(jié)果：

Tesseract Open Source OCR Engine v3.05.01 with Leptonica
Python3WebSpider

我們調(diào)用了 tesseract 命令，第一個(gè)參數(shù)為圖片名稱，第二個(gè)參數(shù) result 為結(jié)果保存的目標(biāo)文件名稱，-l 指定使用的語言包，在此使用 eng 英文，然后再用 cat 命令將結(jié)果輸出。
第二行的運(yùn)行結(jié)果便是圖片的識(shí)別結(jié)果，Python3WebSpider。
我們可以看到這時(shí)已經(jīng)成功將圖片文字轉(zhuǎn)為電子文本了。
然后我們還可以利用 Python 代碼來測試，這里就需要借助于 Tesserocr 庫了，測試代碼如下：

import tesserocr
from PIL import Image
image = Image.open("image.png")
print(tesserocr.image_to_text(image))

如果在運(yùn)行期間python3閃退，出現(xiàn)下面錯(cuò)誤：
!strcmp(locale, "C"):Error:Assert failed:in file baseapi.cpp, line 209
就需要這樣運(yùn)行了：
import locale
locale.setlocale(locale.LC_ALL,"C")

import tesserocr
from PIL import Image
image = Image.open("image.png")
print(tesserocr.image_to_text(image))

在這里我們首先利用 Image 讀取了圖片文件，然后調(diào)用了 tesserocr 的 image_to_text() 方法，再將將其識(shí)別結(jié)果輸出。
運(yùn)行結(jié)果：

Python3WebSpider

另外我們還可以直接調(diào)用 file_to_text() 方法，也可以達(dá)到同樣的效果：

import tesserocr
print(tesserocr.file_to_text("image.png"))

運(yùn)行結(jié)果：

Python3WebSpider

如果成功輸出結(jié)果，則證明 Tesseract 和 Tesserocr 都已經(jīng)安裝成功。

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---2、請(qǐng)求庫安裝：GeckoDriver、PhantomJS、Aiohttp
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---數(shù)據(jù)庫的安裝：MySQL、MongoDB、Redis