摘要：也瀏覽過家具城的官網(wǎng)，本著在一定的預(yù)算范圍之類挑選最合適的，作為一個(gè)程序猿，一顆不安分的心，決定自己爬蟲下網(wǎng)站，列出個(gè)表格，也方便給父母輩們查看，順帶再練習(xí)下爬蟲的。根據(jù)行列坐標(biāo)將數(shù)據(jù)寫入單元格。設(shè)置列寬，指定開始列位置，指定結(jié)束列位置。

原文鏈接：https://mp.weixin.qq.com/s/tQ...

家中想置辦些家具，聽朋友介紹說蘇州蠡（li第二聲）口的家具比較出名，因?yàn)楣ぷ髟谔K州，也去那邊看過，簡直...，走斷雙腿都逛不完，更何況還疲于逛街的。
也瀏覽過家具城的官網(wǎng)，本著在一定的預(yù)算范圍之類挑選最合適的，作為一個(gè)程序猿，一顆不安分的心，決定自己爬蟲下網(wǎng)站，列出個(gè)excel表格，也方便給父母輩們查看，順帶再練習(xí)下爬蟲的。
同樣后期實(shí)地再去購買時(shí)，也可以帶上這份表格進(jìn)行參考。
關(guān)于爬蟲的文章還有另外兩篇實(shí)戰(zhàn)的：

python itchat 爬取微信好友信息

python爬蟲學(xué)習(xí)：爬蟲QQ說說并生成詞云圖，回憶滿滿

excel表格：

詞頻統(tǒng)計(jì)：

打開官網(wǎng) http://www.likoujiaju.com/ ，可以看到分類，這里以「沙發(fā)」來舉例。

總共8頁的數(shù)據(jù)，第一頁的網(wǎng)址里 sell/list-66.html，第二頁的sell/list-66-2.html，所以sell/list-66-1.html也就是第一頁數(shù)據(jù)了，這樣就更方便遍歷網(wǎng)址來獲取數(shù)據(jù)了。

同時(shí)這里使用BeautifulSoup解析數(shù)據(jù)，F(xiàn)12查找標(biāo)題、價(jià)格、圖片對應(yīng)的標(biāo)簽。

def get_data():
    # 定義一個(gè)列表存儲(chǔ)數(shù)據(jù)
    furniture = []
    # 用于存放家具名，后續(xù)用于生成詞頻
    title_all = ""
    # 分頁數(shù)據(jù)獲取
    for num in range(1, 9):
        url = "http://www.likoujiaju.com/sell/list-66-%d.html" % num
        response = requests.get(url)
        content = BeautifulSoup(response.content, "lxml")
        # 找到數(shù)據(jù)所在的div塊
        sm_offer = content.find("div", class_="sm-offer")
        lis = sm_offer.ul.find_all("li")
        # 遍歷每一條數(shù)據(jù)
        for li in lis:
            # 價(jià)格
            price_span = li.find("span", class_="sm-offer-priceNum")
            price = price_span.get_text()
            # 名稱
            title_div = li.find("div", class_="sm-offer-title")
            title = title_div.a.get_text()
            title_all = title_all + title + " "
            # 圖片
            photo_div = li.find("div", class_="sm-offer-photo")
            photo = photo_div.a.img.get("src")
            # 詳情鏈接
            href = photo_div.a.get("href")
            # 數(shù)組里每一項(xiàng)是元祖
            furniture.append((price, title, photo, href))
    # 排序
    furniture.sort(key=take_price, reverse=True)
    # 生成excel
    create_excel(furniture, title_all)

爬取到的價(jià)格是string類型的，且有些價(jià)格并不明確的，所以這里需要對價(jià)格進(jìn)行處理并排序，用到的list的sort(key=take_price)方法，其中key=take_price指定的方法，使用指定的方法去進(jìn)行比較排序。

# 傳參是列表的每一個(gè)元素，這里即元祖
def take_price(enum):
    # 取元祖的第一個(gè)參數(shù)--價(jià)格，處理價(jià)格得到數(shù)值類型進(jìn)行比較
    price = enum[0]
    if "面議" in price:  # 面議的話就設(shè)為0
        return 0
    start = price.index("￥")
    end = price.index("/")
    new_price = price[start + 1:end]
    return float(new_price)

再對列表進(jìn)行排序操作，reverse=True降序排列

furniture.sort(key=take_price, reverse=True)

這里采用的xlsxwriter庫，便于圖片的插入，安裝pip install xlsxwriter
主要用到的方法：
xlsxwriter.Workbook("")創(chuàng)建excel表格。
add_worksheet("")創(chuàng)建工作表。
write(row, col, *args) 根據(jù)行、列坐標(biāo)將數(shù)據(jù)寫入單元格。
set_row(row, height) 設(shè)置行高。
set_column(first_col, last_col, width) 設(shè)置列寬，first_col 指定開始列位置，last_col 指定結(jié)束列位置。
insert_image(row, col, image[, options]) 用于插入圖片到指定的單元格

創(chuàng)建兩個(gè)表，一個(gè)用于存放爬取的數(shù)據(jù)，一個(gè)用于存放詞頻。

# 創(chuàng)建excel
def create_excel(furniture, title_all):
    # 創(chuàng)建excel表格
    file = xlsxwriter.Workbook("furniture.xlsx")
    # 創(chuàng)建工作表1
    sheet1 = file.add_worksheet("sheet1")
    # 定義表頭
    headers = ["價(jià)格", "標(biāo)題", "圖片", "詳情鏈接"]
    # 寫表頭
    for i, header in enumerate(headers):
        # 第一行為表頭
        sheet1.write(0, i, header)
    # 設(shè)置列寬
    sheet1.set_column(0, 0, 24)
    sheet1.set_column(1, 1, 54)
    sheet1.set_column(2, 2, 34)
    sheet1.set_column(3, 3, 40)
    for row in range(len(furniture)):  # 行
        # 設(shè)置行高
        sheet1.set_row(row + 1, 180)
        for col in range(len(headers)):  # 列
            # col=2是當(dāng)前列為圖片，通過url去讀取圖片展示
            if col == 2:
                url = furniture[row][col]
                image_data = BytesIO(urlopen(url).read())
                sheet1.insert_image(row + 1, 2, url, {"image_data": image_data})
            else:
                sheet1.write(row + 1, col, furniture[row][col])

    # 創(chuàng)建工作表2，用于存放詞頻
    sheet2 = file.add_worksheet("sheet2")
    # 生成詞頻
    word_count(title_all, sheet2)

    # 關(guān)閉表格
    file.close()

目錄下會(huì)生成 furniture.xlsx 表格

利用jieba分詞對家具名進(jìn)行分詞處理，用字典保存各個(gè)名詞的數(shù)量，寫入到excel。

# 生成詞頻
def word_count(title_all, sheet):
    word_dict = {}
    # 結(jié)巴分詞
    word = jieba.cut(title_all)
    word_str = ",".join(word)
    # 處理掉特殊的字符
    new_word = re.sub("[ 【】-]", "", word_str)
    # 對字符串進(jìn)行分割出列表
    word_list = new_word.split(",")
    for item in word_list:
        if item not in word_dict:
            word_dict[item] = 1
        else:
            word_dict[item] += 1
    # 對字典進(jìn)行排序，按照數(shù)目排序
    val = sorted(word_dict.items(), key=lambda x: x[1], reverse=True)
    # 寫入excel
    for row in range(len(val)):
        for col in range(0, 2):
            sheet.write(row, col, val[row][col])

詞頻統(tǒng)計(jì)，實(shí)地去購買的時(shí)候，也可以根據(jù)相應(yīng)的詞匯去咨詢賣家~

這篇文章用到的爬蟲方面的知識還是比較基礎(chǔ)的，excel表格的生成也是xlsxwriter庫的使用，制作成表格也方便父母輩查看。當(dāng)然，爬蟲的數(shù)據(jù)還可以用在許多地方。

詳細(xì)代碼見
github地址：https://github.com/taixiang/furniture

歡迎關(guān)注我的博客：https://blog.manjiexiang.cn/
更多精彩歡迎關(guān)注微信號：春風(fēng)十里不如認(rèn)識你

有個(gè)「佛系碼農(nóng)圈」，歡迎大家加入暢聊，開心就好！

過期了，可加我微信 tx467220125 拉你入群。