摘要：所以我模仿這些爬蟲框架的優(yōu)勢，以盡量簡單的原則，搭配實際上是開發(fā)了這套輕量級爬蟲框架。將下載器，解析器，調(diào)度器，數(shù)據(jù)處理器注入核心成為對象。提供對爬蟲進(jìn)行管理監(jiān)控。每個腳本被認(rèn)為是一個，確定一個任務(wù)。

??現(xiàn)在有很多爬蟲框架，比如scrapy、webmagic、pyspider都可以在爬蟲工作中使用，也可以直接通過requests+beautifulsoup來寫一些個性化的小型爬蟲腳本。但是在實際爬取過程當(dāng)中，爬蟲框架各自有優(yōu)勢和缺陷。比如scrapy，它的功能強(qiáng)大，但過于強(qiáng)大的功能也許反而讓新手無所適從，并且它采用twisted異步框架開發(fā)，對新手來說源碼難以理解，項目難于調(diào)試。所以我模仿這些爬蟲框架的優(yōu)勢，以盡量簡單的原則，搭配gevent(實際上是grequests)開發(fā)了這套輕量級爬蟲框架。

downloader是下載器。

processor是解析器。

scheduler是調(diào)度器。

pipeline是數(shù)據(jù)處理器。

將下載器，解析器，調(diào)度器，數(shù)據(jù)處理器注入核心core成為spider對象。

通過manager管理spider對象

manager透過webapi提供外部訪問/控制接口

框架代碼結(jié)構(gòu)簡單易用，易于修改。新手、老鳥皆可把控。

采用gevent實現(xiàn)并發(fā)操作，與scrapy的twisted相比，代碼更容易理解。

完全模塊化的設(shè)計，強(qiáng)大的可擴(kuò)展性。

使用方式和結(jié)構(gòu)參考了scrapy和webmagic。對有接觸過這兩個框架的朋友非常友好。

不采用命令行來啟動爬蟲，方便調(diào)試。

對數(shù)據(jù)的解析模塊并沒有集成，可以自由使用beautifulsoup、lxml、pyquery、html5lib等等各種解析器進(jìn)行數(shù)據(jù)抽取。

集成代理換IP功能。

支持高并發(fā)采集數(shù)據(jù)。

支持分布式。

支持增量爬取。

支持爬取js動態(tài)渲染的頁面(加載SeleniumDownLoader即可)。

提供webapi對爬蟲進(jìn)行管理、監(jiān)控。

提供即時爬蟲的集成思路和結(jié)構(gòu)。

pip install sasila

請準(zhǔn)備好您的redis服務(wù)器進(jìn)行調(diào)度。

并在settings.py文件中 寫入您的redis服務(wù)器地址

REDIS_HOST = "localhost"
REDIS_PORT = 6379

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup as bs
from sasila.system_normal.processor.base_processor import BaseProcessor
from sasila.system_normal.downloader.http.spider_request import Request
from sasila.system_normal.spider.request_spider import RequestSpider

class Mzi_Processor(BaseProcessor):
    spider_id = "mzi_spider"
    spider_name = "mzi_spider"
    allowed_domains = ["mzitu.com"]
    start_requests = [Request(url="http://www.mzitu.com/", priority=0)]

    @checkResponse
    def process(self, response):
        soup = bs(response.m_response.content, "lxml")
        print soup.title.string
        href_list = soup.select("a")
        for href in href_list:
            yield Request(url=response.nice_join(href["href"]))

寫法與scrapy幾乎一樣

所有的解析器都繼承自 BaseProcessor ，默認(rèn)入口解析函數(shù)為def process(self, response)。

為該解析器設(shè)置spider_id和spider_name,以及限定域名。

初始爬取請求為 start_requests，構(gòu)建Request對象，該對象支持GET、POST方法，支持優(yōu)先級，設(shè)置回調(diào)函數(shù)等等所有構(gòu)建request對象的一切屬性。默認(rèn)回調(diào)函數(shù)為 process。

可以使用@checkResponse裝飾器對返回的 response 進(jìn)行校驗并記錄異常日志。你也可以定義自己的裝飾器。

解析函數(shù)因為使用 yield 關(guān)鍵字，所以是一個生成器。當(dāng) yield 返回 Request 對象，則會將 Request 對象推入調(diào)度器等待調(diào)度繼續(xù)進(jìn)行爬取。若 yield 不是返回 Request 對象則會進(jìn)入 pipeline ， pipeline 將對數(shù)據(jù)進(jìn)行清洗入庫等操作。

與scrapy相似，sasila同樣提供LinkExtractor的方式來提取鏈接，以下是用LinkExtractor的方式構(gòu)造processor下載妹子圖的示例

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from sasila.system_normal.processor.base_processor import BaseProcessor, Rule, LinkExtractor
from sasila.system_normal.downloader.http.spider_request import Request
import os
import uuid

class MezituProcessor(BaseProcessor):
    spider_id = "mzitu"
    spider_name = "mzitu"
    allowed_domains = ["mzitu.com", "meizitu.net"]
    start_requests = [Request(url="http://www.mzitu.com/xinggan/")]

    rules = (
        Rule(LinkExtractor(regex_str=r"http://i.meizitu.net/d{4}/d{2}/[0-9a-z]+.jpg"),callback="save", priority=3),
        Rule(LinkExtractor(regex_str=r"http://www.mzitu.com/d+"), priority=1),
        Rule(LinkExtractor(regex_str=r"http://www.mzitu.com/d+/d+"), priority=2),
        Rule(LinkExtractor(regex_str=r"http://www.mzitu.com/xinggan/page/d+"), priority=0),
    )

    def save(self, response):
        if response.m_response:
            if not os.path.exists("img"):
                os.mkdir("img")
            with open("img/" + str(uuid.uuid1()) + ".jpg", "wb") as fs:
                fs.write(response.m_response.content)
                print("download success!")

LinkExtractor的構(gòu)造方式為

LinkExtractor(regex_str=None, css_str=None, process_value=None)

提供正則表達(dá)式提取方式：regex_str

提供css選擇器提取方式：css_str

也可以自定義process_value來提取鏈接，其中process_value是一個生成器

若使用此方式構(gòu)造processor，請不要定義默認(rèn)入口函數(shù)def process(self, response)

該pipeline獲取數(shù)據(jù)后將數(shù)據(jù)轉(zhuǎn)為json格式，并輸出到屏幕

from sasila.system_normal.pipeline.base_pipeline import ItemPipeline
import json

class ConsolePipeline(ItemPipeline):
    def process_item(self, item):
        print json.dumps(item).decode("unicode-escape")

通過注入 processor 生成spider對象

from sasila.system_normal.spider.request_spider import RequestSpider

spider = RequestSpider(Mzi_Processor())

RequestSpider對象包含批下載數(shù)量 batch_size，下載間隔 time_sleep，使用代理 use_proxy 等一切必要的屬性

RequestSpider(processor=None, downloader=None, use_proxy=False,scheduler=None,batch_size=None,time_sleep=None)

本項目集成使用代理IP的功能，只要在構(gòu)建RequestSpider時將 use_proxy 設(shè)置為 True,并在腳本同級目錄下放置proxy.txt文件即可。你也可以在settings.py文件中寫入代理IP文件路徑。

PROXY_PATH_REQUEST = "proxy/path"

proxy.txt文件中請寫入代理IP，格式為：IP,端口號。若該代理IP有賬號密碼，在末尾追加賬號密碼即可。

127.0.0.1,8080
127.0.0.2,8080,user,pwd
127.0.0.3,8080,user,pwd

RequestSpider已經(jīng)默認(rèn)設(shè)置好了 downloader 和 scheduler，如果不滿意，可以自己進(jìn)行定制。

可以為spider設(shè)置 downloader 和 pipeline 甚至 scheduler

 spider = spider.set_pipeline(ConsolePipeline())

可以通過該方式啟動爬蟲

spider.start()

也可以將spider注入manager進(jìn)行管理

from sasila.system_normal.manager import manager
from sasila import system_web

manager.set_spider(spider)

system_web.start()

訪問 http://127.0.0.1:5000/slow_sp... 來啟動爬蟲。
訪問 http://127.0.0.1:5000/slow_sp... 來停止爬蟲。
訪問 http://127.0.0.1:5000/slow_sp... 來查看爬蟲詳細(xì)信息。

可以為downloader加載登錄器(loginer),在使用downloader的時候使用loginer進(jìn)行登錄獲取cookies,再進(jìn)行爬取

也可以自己定義一個cookie池，批量進(jìn)行登錄并將登錄成功的cookies放進(jìn)cookie池中隨時進(jìn)行取用。項目中暫時沒有這些功能。歡迎pull request~

任務(wù)由 scheduler 發(fā)起調(diào)度，downloader 抓取網(wǎng)頁內(nèi)容， processor 執(zhí)行預(yù)先編寫的py腳本，輸出結(jié)果或產(chǎn)生新的提鏈任務(wù)（發(fā)往 scheduler），形成閉環(huán)。

每個腳本被認(rèn)為是一個spider，spiderid確定一個任務(wù)。

downloader
1.method, header, cookie, proxy,timeout 等等抓取調(diào)度控制。

2.可以通過適配類似 phantomjs 的webkit引擎支持渲染。

processor
1.靈活運用pyquery，beautifulsoup等解析頁面。

2.在腳本中完全控制調(diào)度抓取的各項參數(shù)。
3.可以向后鏈傳遞信息。
4.異常捕獲。

scheduler
1.任務(wù)優(yōu)先級。

2.對任務(wù)進(jìn)行監(jiān)控。
3.對任務(wù)進(jìn)行去重等操作。
4.支持增量。

webApi
1.對爬蟲進(jìn)行增刪改查等操作。

即時爬蟲是可以通過api調(diào)用，傳入需要爬取的頁面或者需求，即時爬取數(shù)據(jù)并返回結(jié)果?，F(xiàn)階段開發(fā)并不完善。僅提供思路參考。示例核心代碼在 sasila.system_instant 中。

作為一個wower,你可以猜到嗎ヾ(￣▽￣)

如果對使用有疑問，或者有想法，歡迎加入討論群:602909155交流~

項目地址