成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專(zhuān)欄INFORMATION COLUMN

基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：圖片處理

william / 1830人閱讀

目錄 
基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：環(huán)境搭建


基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：頁(yè)面提取


基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：圖片處理

上篇文章中講解了如何從網(wǎng)站頁(yè)面抓取所需要的數(shù)據(jù)，很幸運(yùn)范例中所需的數(shù)據(jù)是通過(guò) Ajax 請(qǐng)求返回的 JSON 結(jié)構(gòu)化數(shù)據(jù)，處理起來(lái)很簡(jiǎn)單，圖片內(nèi)容也只取了一個(gè)鏈接，對(duì)于我最初的目標(biāo)“把這些圖集添加到自己的博客站點(diǎn)中”這已經(jīng)夠了，說(shuō)白了就是“盜鏈”嘛，如果有一天網(wǎng)站做了防盜鏈措施，那這些抄來(lái)的圖集就都作廢了，保險(xiǎn)的方法就是把圖片也下載到本地，再把圖片鏈接替換為本地圖片。

下載圖片

下載圖片有兩種方式，一種是通過(guò) Requests 模塊發(fā)送 get 請(qǐng)求下載，另一種是使用 Scrapy 的 ImagesPipeline 圖片管道類(lèi)，這里主要講后者。

安裝 Scrapy 時(shí)并沒(méi)有安裝圖像處理依賴(lài)包 Pillow，需手動(dòng)安裝否則運(yùn)行爬蟲(chóng)出錯(cuò)。

首先在 settings.py 中設(shè)置圖片的存儲(chǔ)路徑：

IMAGES_STORE = "D:/"

圖片處理相關(guān)的選項(xiàng)還有：

# 圖片最小高度和寬度設(shè)置，可以過(guò)濾太小的圖片
IMAGES_MIN_HEIGHT = 110
IMAGES_MIN_WIDTH = 110

# 生成縮略圖選項(xiàng)
IMAGES_THUMBS = {
    "small": (50, 50),
    "big": (270, 270),
}
更多選項(xiàng)請(qǐng)參考：https://doc.scrapy.org/en/lat...

之前已經(jīng)存在提取內(nèi)容的 TuchongPipeline 類(lèi)，如果使用 ImagePipeline 可以將提取內(nèi)容的操作都合并過(guò)來(lái)，但是為了更好的說(shuō)明圖片管道的作用，我們?cè)俣鄮?chuàng)建一個(gè) ImagePipeline 類(lèi)，加到 pipelines.py 文件中，同時(shí)重載函數(shù) get_media_requests：

class PhotoGalleryPipeline(object):
    ...

class PhotoPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for (id, url) in item["images"].items():
            yield scrapy.Request(url)
上篇文章中我們把圖片的URL保存在了 item["images"] 中，它是一個(gè)字典類(lèi)型的數(shù)組，形如：[{img_id: img_url}, ...]，此函數(shù)中需要把 img_url 取出并構(gòu)建為 scrapy.Request 請(qǐng)求對(duì)象并返回，每一個(gè)請(qǐng)求都將觸發(fā)一次下載圖片的操作。

到 settings.py 中注冊(cè) PhotoPipeline，并把優(yōu)先級(jí)設(shè)的比提取內(nèi)容的管道要高一些，保證圖片下載優(yōu)先于內(nèi)容處理，目的是如果有圖片下載未成功，通過(guò)觸發(fā) DropItem 異?？梢灾袛噙@一個(gè) Item 的處理，防止不完整的數(shù)據(jù)進(jìn)入下一管道：

ITEM_PIPELINES = {
    "Toutiao.pipelines.PhotoGalleryPipeline": 300,
    "Toutiao.pipelines.PhotoPipeline": 200,
}

執(zhí)行爬蟲(chóng) scrapy crawl photo ，如無(wú)錯(cuò)誤，在設(shè)定的存儲(chǔ)目錄中會(huì)出現(xiàn)一個(gè) full 目錄，里面是下載后的圖片。

文件名處理

下載的文件名是以圖片URL通過(guò) sha1 編碼得到的字符，類(lèi)似 0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg 不是太友好，可以通過(guò)重載 file_path 函數(shù)自定義文件名，比如可以這樣保留原文件名：

...
    def file_path(self, request, response=None, info=None):
        file_name = request.url.split("/")[-1]
        return "full/%s" % (file_name)
...
上面這樣處理難免會(huì)有重名的文件被覆蓋，但參數(shù) request 中沒(méi)有過(guò)多的信息，不便于對(duì)圖片分類(lèi)，因此可以改為重載 item_completed 函數(shù)，在下載完成后對(duì)圖片進(jìn)行分類(lèi)操作。

函數(shù) item_completed 的定義：

def item_completed(self, results, item, info)

參數(shù)中包含 item ，有我們抓取的所有信息，參數(shù) results 為下載圖片的結(jié)果數(shù)組，包含下載后的路徑以及是否成功下載，內(nèi)容如下：

[(True,
  {"checksum": "2b00042f7481c7b056c4b410d28f33cf",
   "path": "full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg",
   "url": "http://www.example.com/files/product1.pdf"}),
 (False,
  Failure(...))]

重載該函數(shù)將下載圖片轉(zhuǎn)移到分類(lèi)目錄中，同時(shí)關(guān)聯(lián)文件路徑到 item 中，保持內(nèi)容與圖片為一個(gè)整體：

def item_completed(self, results, item, info):
    image_paths = {x["url"].split("/")[-1]: x["path"] for ok, x in results if ok}
    if not image_paths:
        # 下載失敗忽略該 Item 的后續(xù)處理
        raise DropItem("Item contains no files")
    else:
        # 將圖片轉(zhuǎn)移至以 post_id 為名的子目錄中
        for (dest, src) in image_paths.items():
            dir = settings.IMAGES_STORE
            newdir = dir + os.path.dirname(src) + "/" + item["post_id"] + "/"
            if not os.path.exists(newdir):
                os.makedirs(newdir)
            os.rename(dir + src, newdir + dest)
    # 將保存路徑保存于 item 中（image_paths 需要在 items.py 中定義）
    item["image_paths"] = image_paths
    return item

接下來(lái)在原 TuchongPipeline 類(lèi)中寫(xiě)入數(shù)據(jù)庫(kù)的操作中，通過(guò) item["image_paths"] 路徑信息寫(xiě)入本地圖片鏈接。

除了 ImagesPipeline 處理圖片外，還有 FilesPipeline 可以處理文件，使用方法與圖片類(lèi)似，事實(shí)上 ImagesPipeline 是 FilesPipeline 的子類(lèi)，因?yàn)閳D片也是文件的一種。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/44518.html

相關(guān)文章

  • 基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：頁(yè)面提取

    摘要：目錄基于的爬蟲(chóng)入門(mén)環(huán)境搭建基于的爬蟲(chóng)入門(mén)頁(yè)面提取基于的爬蟲(chóng)入門(mén)圖片處理下面創(chuàng)建一個(gè)爬蟲(chóng)項(xiàng)目，以圖蟲(chóng)網(wǎng)為例抓取圖片。 目錄 基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：環(huán)境搭建 基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：頁(yè)面提取 基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：圖片處理 下面創(chuàng)建一個(gè)爬蟲(chóng)項(xiàng)目，以圖蟲(chóng)網(wǎng)為例抓取圖片。 一、內(nèi)容分析 打開(kāi) 圖蟲(chóng)網(wǎng)，頂部菜單發(fā)現(xiàn)...

    willin 評(píng)論0 收藏0

  • 首次公開(kāi)，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

    摘要：時(shí)間永遠(yuǎn)都過(guò)得那么快，一晃從年注冊(cè)，到現(xiàn)在已經(jīng)過(guò)去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時(shí)候把他們整理一下了。那是因?yàn)槭詹貖A太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...

    Harriet666 評(píng)論0 收藏0

  • 基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：環(huán)境搭建

    摘要：一基礎(chǔ)環(huán)境由于不是職業(yè)的開(kāi)發(fā)者，因此環(huán)境是基于的。二安裝打開(kāi)命令行工具創(chuàng)建虛擬環(huán)境，默認(rèn)情況下會(huì)創(chuàng)建目錄，所有的虛擬環(huán)境都會(huì)產(chǎn)生一個(gè)子目錄保存在此，里面包含基本程序文件以及庫(kù)文件。 目錄 基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：環(huán)境搭建 基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：頁(yè)面提取 基于 Python 的 Scrapy 爬蟲(chóng)入門(mén)：圖片處理 作為一個(gè)全棧工程師（...

    Gu_Yan 評(píng)論0 收藏0

  • 零基礎(chǔ)如何學(xué)爬蟲(chóng)技術(shù)

    摘要：楚江數(shù)據(jù)是專(zhuān)業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)服務(wù)，現(xiàn)整理出零基礎(chǔ)如何學(xué)爬蟲(chóng)技術(shù)以供學(xué)習(xí)，。本文來(lái)源知乎作者路人甲鏈接楚江數(shù)據(jù)提供網(wǎng)站數(shù)據(jù)采集和爬蟲(chóng)軟件定制開(kāi)發(fā)服務(wù)，服務(wù)范圍涵蓋社交網(wǎng)絡(luò)電子商務(wù)分類(lèi)信息學(xué)術(shù)研究等。 楚江數(shù)據(jù)是專(zhuān)業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)服務(wù)，現(xiàn)整理出零基礎(chǔ)如何學(xué)爬蟲(chóng)技術(shù)以供學(xué)習(xí)，http://www.chujiangdata.com。 第一：Python爬蟲(chóng)學(xué)習(xí)系列教程（來(lái)源于某博主：htt...

    KunMinX 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<