摘要：學(xué)習(xí)網(wǎng)站麥子第九集的定義的編寫作用生成初始的定義空集設(shè)置變量頁(yè)碼到生成的放到中返回提取每一行的位置提取標(biāo)簽下的屬性變量加入標(biāo)簽定義空集的從以后開(kāi)始加載取文字取文字取到的屬性，再用正則匹配到數(shù)字把添加到項(xiàng)目返回項(xiàng)目保存成結(jié)果輸出

學(xué)習(xí)網(wǎng)站：麥子scrapy第九集

import scrapy


class XiciItem(scrapy.Item):
    IP=scrapy.Field()
    PORT=scrapy.Field()
    POSITION=scrapy.Field()
    TYPE=scrapy.Field()
    SPEED=scrapy.Field()
    LAST_CHECK_TIME=scrapy.Field()

# -*- coding: utf-8 -*-
import scrapy
from XiCi.items import XiciItem

class XiciSpider(scrapy.Spider):
    name = "xici"
    allowed_domains = ["xicidaili.com"]
    start_urls = (
        "http://www.xicidaili.com",
    )
    
    def start_requests(self):#作用：生成初始的request
        reqs=[]#定義resqs(空集)
        
        for i in range(1,206):#設(shè)置變量：頁(yè)碼1到206
            req=scrapy.Request("http://www.xicidaili.com/nn/%s"%i)
            reqs.append(req)#生成的request放到resqs中
        
        return reqs#返回reqs
    
    def parse(self, response):
        #提取每一行的xpath位置
        ip_list=response.xpath("http://table[@id="ip_list"]")#ip_list=xpath提?。╰able標(biāo)簽下的"ip_list"屬性）
        
        trs = ip_list[0].xpath("tr")#變量trs=ip_list加入tr標(biāo)簽
        
        items=[]#定義items空集
        
        for ip in trs[1:]:#ip的tr從[1以后開(kāi)始]
            pre_item=XiciItem()#pre_item=加載XiCiItem()
            
            pre_item["IP"] = ip.xpath("td[3]/text()")[0].extract()#取文字
            
            pre_item["PORT"] = ip.xpath("td[4]/text()")[0].extract()#取文字
            
            pre_item["POSITION"] = ip.xpath("string(td[5])")[0].extract().strip()
            
            pre_item["TYPE"] = ip.xpath("td[7]/text()")[0].extract()
            #speed取到td的title屬性，再用正則（匹配到數(shù)字）
            pre_item["SPEED"] = ip.xpath(
                "td[8]/div[@class="bar"]/@title").re("d{0,2}.d{0,}")[0]
                
            pre_item["LAST_CHECK_TIME"] = ip.xpath("td[10]/text()")[0].extract()
            
            items.append(pre_item)#把pre_item添加到項(xiàng)目
            
        return items#返回項(xiàng)目

scrapy crawl xici -o xici.csv