摘要：最簡爬蟲環(huán)境準(zhǔn)備最好使用另外需要兩個必要的庫一個封裝了服務(wù)的庫類似，使用非常方便開始實現(xiàn)第一個應(yīng)用我們第一個應(yīng)用實現(xiàn)的功能主要如下訪問一個頁面這里我們以糗事百科為例獲得頁面的內(nèi)容進(jìn)行簡單的處理，獲得我們需要的內(nèi)容結(jié)果簡單分析利用獲得頁面
Step1 - 最簡爬蟲
環(huán)境準(zhǔn)備
Python3.5 最好使用venv
另外需要兩個必要的庫：
requests : 一個封裝了HTTP服務(wù)的python庫
pyquery : 類似Jquery，使用非常方便
$ pip install requests
$ pip install pyquery
開始
實現(xiàn)第一個應(yīng)用
我們第一個應(yīng)用實現(xiàn)的功能主要如下：
訪問一個頁面,這里我們以 糗事百科(http://www.qiushibaike.com/) 為例
獲得頁面的內(nèi)容
進(jìn)行簡單的處理，獲得我們需要的內(nèi)容
import requests
from pyquery import PyQuery as pq
__author__ = "BONFY CHEN "
SITE = "http://www.qiushibaike.com/"
r = requests.get(SITE)
assert r.status_code == 200
d = pq(r.text)
contents = d("div .article")
for item in contents:
i = pq(item)
content = i("div .content").text()
print(content)
結(jié)果
簡單分析
利用 requests.get 獲得頁面
assert 斷言，如果網(wǎng)絡(luò)問題 訪問不到就退出
contents 利用 pyquery 獲得所有文章 后續(xù) 讀取 div class ＝ "content" 的為文本內(nèi)容 （這里沒有處理圖片后續(xù)的講解中會完善）
print 輸出
完整代碼
補(bǔ)充模仿瀏覽器的Headers,詳情見 https://github.com/bonfy/xiaolinBot
歡迎關(guān)注及一起交流
請期待下一篇： 代碼優(yōu)化
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/37937.html
