一句話總結(jié)直屬于標(biāo)簽

html中的&NBSP（實際上是小寫，這里大寫避免markdown識別）對應(yīng)字符串中的xa0,可用replace方法替換掉

url = "https://movie.douban.com/top250"
headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36"}
r=requests.get(url,headers=headers)
soup = BeautifulSoup(r.text,"lxml")

for each in soup.find_all("div",class_="info"):
    img_url = each.previous_sibling.previous_sibling.a.img["src"]#圖片鏈接
    
    """with open("*.jpg","wb") as img:#還可以順便下載回來，名字自起
    img.write(requests.get(img_url,headers=headers).content)"""
    
    
    title=each.find("div",class_="hd").get_text(strip=True).replace("xa0","")#標(biāo)題
    actor = list(each.find("p",class_="").strings)[0].strip().replace("xa0","")#導(dǎo)演演員
    type_ = list(each.find("p",class_="").strings)[1].strip().replace("xa0","")#類型
    score = each.find("div",class_="star").get_text("/",strip=True)#評分及人數(shù)
    quote = each.find("span",class_="inq").string#一句話總結(jié)
    print([img_url,title,actor,type_,score,quote])#這里只簡單打出來看下，怎樣存儲由你來決定

??但是這樣只有25部電影啊，是的，"https://movie.douban.com/top250"指向第一頁，我們現(xiàn)在只爬了一頁，其實還有9頁還沒爬啊，這是就要構(gòu)造網(wǎng)址了。

??我們點到第二頁，發(fā)現(xiàn)網(wǎng)址變成了https://movie.douban.com/top2...，第三頁start條件值變成50，我們可以得出結(jié)論，每下一頁，start條件值就加25。第一頁start=0，第二頁start=25.....第十頁start=225。這樣就可以循環(huán)構(gòu)造網(wǎng)頁并爬取了，這交給讀者實現(xiàn)
??下面筆者提供另一種思路：網(wǎng)頁不是有下一頁的按鈕嗎，右鍵檢查一下，發(fā)現(xiàn)它已經(jīng)包含了要構(gòu)造的部分了，是一個屬性值，提取出來接到原網(wǎng)址上即得到下一頁的網(wǎng)址，這樣能完全爬取所有頁數(shù)，不用像上面一樣設(shè)置循環(huán)次數(shù)。

貼上完整代碼

import requests
from bs4 import BeautifulSoup


url = "https://movie.douban.com/top250"
with open("douban.txt","w",encoding="utf-8") as f:
    while url :
        headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36"}

        r=requests.get(url,headers=headers)
        soup = BeautifulSoup(r.text,"lxml")

        for each in soup.find_all("div",class_="info"):
            img_url = each.previous_sibling.previous_sibling.a.img["src"]
            title=each.find("div",class_="hd").get_text(strip=True).replace("xa0","")
            actor = list(each.find("p",class_="").strings)[0].strip().replace("xa0","")
            #將生成器list化后索引，strip()去除兩邊空格再用空字符替換 
            type_ = list(each.find("p",class_="").strings)[1].strip().replace("xa0","")
            score = each.find("div",class_="star").get_text("/",strip=True)
            if each.find("span",class_="inq"):#注意有部電影沒有總結(jié)，也就沒有標(biāo)簽這里用if檢測一下防止None使用string方法報錯
                quote = each.find("span", class_="inq").string
            else:
                quote = "沒有總結(jié)哦"
            print([img_url,title,actor,type_,score,quote])

            try:#到最后一頁時沒有下一頁按鈕，會報TypeError，這時用try語句讓url=None使while循環(huán)停止
                url = "https://movie.douban.com/top250" + soup.find("span",class_="next").a["href"]
            except TypeError:
                url = None

本實例的篩選方法已經(jīng)講的很細致了，幾乎提及了BeautifulSoup的所有方法，希望大家能通過此實例能加深對BeautifulSoup的理解，然后自己手打一些爬蟲出來，小的十幾行多的幾十行都可以，爬貼吧什么的都可以。

還是那句話“只看不實踐的程序員不是好程序員”

下一篇應(yīng)該會將正則表達式，更加強大也更加難的信息匹配方法
下下篇了解一下動態(tài)爬取?