摘要：剩下的同學(xué)，我們繼續(xù)了可以看出，作為一個完善的電商網(wǎng)站，尚妝網(wǎng)有著普通電商網(wǎng)站所擁有的主要的元素，包括分類，分頁，主題等等。

系列教程

手把手教你寫電商爬蟲-第一課 找個軟柿子捏捏

如果沒有看過第一課的朋友，請先移步第一課，第一課講了一些基礎(chǔ)性的東西，通過軟柿子"切糕王子"這個電商網(wǎng)站好好的練了一次手，相信大家都應(yīng)該對寫爬蟲的流程有了一個大概的了解，那么這課咱們就話不多說，正式上戰(zhàn)場，對壘尚妝網(wǎng)。

首先，向我們被爬網(wǎng)站致敬，沒有他們提供數(shù)據(jù)，我們更是無從爬起，所以先安利一下尚妝網(wǎng)：

經(jīng)營化妝品時尚購物，大數(shù)據(jù)為驅(qū)動，并依托智能首飾為入口的新一代智慧美妝正品電子商務(wù)平臺。其創(chuàng)始團隊來自天貓、支付寶、歐萊雅、薇姿等互聯(lián)網(wǎng)公司和化妝品集團。
好吧，我很懶，直接從百度知道里抄過來的，不過不代表我沒有誠意。OK，言歸正傳，我們先把我們的工具包拿出來：

1、神箭手云爬蟲，2、Chrome瀏覽器 3、Chrome的插件XpathHelper 不知道是干嘛的同學(xué)請移步第一課

古代戰(zhàn)士上戰(zhàn)場前，必須先好好的觀察對手，所謂知己知彼，百戰(zhàn)不殆。我們先來觀察一下尚妝網(wǎng)

從首頁大家能看出什么？說美女很美的，還有說美女表情很到位的同學(xué)，你們可以先回家了。

剩下的同學(xué)，我們繼續(xù)了：

可以看出，作為一個完善的電商網(wǎng)站，尚妝網(wǎng)有著普通電商網(wǎng)站所擁有的主要的元素，包括分類，分頁，主題等等。首先我們要確定我們希望要爬取哪一類數(shù)據(jù)，當(dāng)然作為爬蟲來說，全部爬下來不是不行，不過對于做實驗來說，就沒必要了。好，我們假設(shè)：我們要爬護膚里的面膜品類所有商品，價格和銷量，至于為什么是面膜，你們猜呢？

廢話太多了，我們開始爬蟲三步走，跟著我再背誦一遍：1、選入口Url 2、限定內(nèi)容頁和中間頁 3、寫內(nèi)容頁抽取規(guī)則

1、選定入口url

這個簡單，找到面膜頁面的地址：

http://list.showjoy.com/search/?q=cateIds%3A1,cateName%3A%E9%9D%A2%E8%86%9C

好，就是它了。

2、區(qū)分內(nèi)容頁和中間頁

好，重點來了，尚妝網(wǎng)的列表頁面，是通過ajax動態(tài)加載了，這個怎么實現(xiàn)呢？我們先不著急，先看下內(nèi)容頁

http://item.showjoy.com/sku/26551.html

http://item.showjoy.com/sku/100374.html

內(nèi)容頁很簡單，我們直接提取成正則表達(dá)式

http://item.showjoy.com/sku/d+.html

那么列表頁呢？首先，第一個當(dāng)然是：

http://list.showjoy.com/search/?q=cateIds%3A1,cateName%3A%E9%9D%A2%E8%86%9C

下一頁的鏈接是什么呢？這個時候就需要借助chrome瀏覽器的開發(fā)者工具，我們打開工具，切換到network選項卡，向下滑動加載下一頁，可以看到展示出的連接地址：

注意，可以忽略掉png這些圖片的文件，直接看到下一頁的連接，我們將鏈接復(fù)制出來：

http://list.showjoy.com/search/?q=cateIds%3A1,cateName%3A%E9%9D%A2%E8%86%9C&stock=1&page=4&_synToken=59a6c555b0947486769f35d010353cd5

看著好像很復(fù)雜，不過page我認(rèn)識，其他的可以去掉嗎？我們試一下訪問

http://list.showjoy.com/search/?q=cateIds%3A1,cateName%3A%E9%9D%A2%E8%86%9C&page=4

貌似正常打開，而且也可以顯示不同的商品，就此我們可以看出來，這個ajax加載下一頁不過是一個紙老虎，根本沒什么可怕的。我們將這個提取成正則表達(dá)式，另外 值得注意的是，由于我們第一頁可能是沒有page的，所以也需要考慮沒有page參數(shù)的情況
6

http://list.showjoy.com/search/?q=cateIds%3A1,cateName%3A%E9%9D%A2%E8%86%9C(&page=d+)?

第三步：就是寫內(nèi)容頁的抽取規(guī)則了，我們就抽取商品名稱，評價數(shù)和成交數(shù)這三項數(shù)據(jù)吧，有人要問了，為啥不要價格呢。我只能說，too young too native，你打開商品頁面的時候，有沒有注意到價格的地方也一個快速的異步加載?？紤]到咱們畢竟才第二課，而且剛剛還沒那個ajax搞得虎軀一震，差一點把這節(jié)課改成第三課，所以咱們這里先降低點難度，下一課咱們用一節(jié)課的時間來探討下這個價格該怎么提取。

根據(jù)前面課程教的方案，我們同樣的方法，寫出xpath：

標(biāo)題：  //h3[contains(@class,"choose-hd")]

評價： //div[contains(@class,"dtabs-hd")]/ul/li[2]

成交記錄：//div[contains(@class,"dtabs-hd")]/ul/li[3]

通過xpath helper進(jìn)行驗證之后沒有問題，這樣我們可以組合代碼得到下面的結(jié)果

var configs = {  
    domains: ["www.showjoy.com","list.showjoy.com","item.showjoy.com"],  
    scanUrls: ["http://list.showjoy.com/search/?q=cateIds%3A1,cateName%3A%E9%9D%A2%E8%86%9C"],  
    contentUrlRegexes: ["http://item.showjoy.com/sku/d+.html"],  
    helperUrlRegexes: ["http://list.showjoy.com/search/?q=cateIds%3A1,cateName%3A%E9%9D%A2%E8%86%9C(&page=d+)?"],//可留空  
    fields: [  
        {  
            // 第一個抽取項  
            name: "title",  
            selector: "http://h3[contains(@class,"choose-hd")]",//默認(rèn)使用XPath  
            required: true //是否不能為空  
        },  
        {  
            // 第二個抽取項  
            name: "comment",  
            selector: "http://div[contains(@class,"dtabs-hd")]/ul/li[2]",//使用正則的抽取規(guī)則  
            required: false //是否不能為空  
        },  
        {  
            // 第三個抽取項  
            name: "sales",  
            selector: "http://div[contains(@class,"dtabs-hd")]/ul/li[3]",//使用正則的抽取規(guī)則  
            required: false //是否不能為空  
        }  
    ]  
};  
  
start(configs);  

可以看到在domains里 我填入了三個域名，這里是一定要注意的，因為他的列表頁和詳情頁的域名都不一致，因此需要把每一個域名都寫進(jìn)去。
好了，代碼運行正常，但是啟動任務(wù)之后發(fā)現(xiàn)，怎么第二頁的內(nèi)容沒有采集到呢？ 還有前面說的價格咱們也采集不到，到底還能不能愉快的玩耍了呢？ 我們第三課就給大家講講如何解決ajax頁面的url發(fā)現(xiàn)和ajax加載內(nèi)容的提取。

對爬蟲感興趣的童鞋可以加qq群討論：342953471。