成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

selenium跳過(guò)webdriver檢測(cè)并模擬登錄淘寶

tulayang / 2803人閱讀

摘要：是一款優(yōu)秀的自動(dòng)化測(cè)試工具，所以現(xiàn)在采用進(jìn)行半自動(dòng)化爬取數(shù)據(jù)，支持模擬登錄淘寶和自動(dòng)處理滑動(dòng)驗(yàn)證碼。編寫思路由于現(xiàn)在大型網(wǎng)站對(duì)工具進(jìn)行檢測(cè)，若檢測(cè)到，則判定為機(jī)器人，訪問(wèn)被拒絕。以開(kāi)頭的在中表示類名，以開(kāi)頭的在中表示名。

簡(jiǎn)介

模擬登錄淘寶已經(jīng)不是一件新鮮的事情了，過(guò)去我曾經(jīng)使用get/post方式進(jìn)行爬蟲(chóng)，同時(shí)也加入IP代理池進(jìn)行跳過(guò)檢驗(yàn)，但隨著大型網(wǎng)站的升級(jí)，采取該策略比較難實(shí)現(xiàn)了。因?yàn)槟闶褂胓et/post方式進(jìn)行爬取數(shù)據(jù)，會(huì)提示需要登錄，而登錄又是一大難題，需要滑動(dòng)驗(yàn)證碼驗(yàn)證。當(dāng)你想使用IP代理池進(jìn)行跳過(guò)檢驗(yàn)時(shí)，發(fā)現(xiàn)登錄時(shí)需要手機(jī)短信驗(yàn)證碼驗(yàn)證，由此可以知道舊的全自動(dòng)爬取數(shù)據(jù)對(duì)于大型網(wǎng)站比較困難了。

selenium是一款優(yōu)秀的WEB自動(dòng)化測(cè)試工具，所以現(xiàn)在采用selenium進(jìn)行半自動(dòng)化爬取數(shù)據(jù)，支持模擬登錄淘寶和自動(dòng)處理滑動(dòng)驗(yàn)證碼。

編寫思路

由于現(xiàn)在大型網(wǎng)站對(duì)selenium工具進(jìn)行檢測(cè)，若檢測(cè)到selenium，則判定為機(jī)器人，訪問(wèn)被拒絕。所以第一步是要防止被檢測(cè)出為機(jī)器人，如何防止被檢測(cè)到呢？當(dāng)使用selenium進(jìn)行自動(dòng)化操作時(shí)，在chrome瀏覽器中的consloe中輸入windows.navigator.webdriver會(huì)發(fā)現(xiàn)結(jié)果為Ture，而正常使用瀏覽器的時(shí)候該值為False。所以我們將windows.navigator.webdriver進(jìn)行屏蔽。
在代碼中添加：

        options = webdriver.ChromeOptions()
        # 此步驟很重要，設(shè)置為開(kāi)發(fā)者模式，防止被各大網(wǎng)站識(shí)別出來(lái)使用了Selenium
        options.add_experimental_option("excludeSwitches", ["enable-automation"]) 
        self.browser = webdriver.Chrome(executable_path=chromedriver_path, options=options)

同時(shí)，為了加快爬取速度，我們將瀏覽器模式設(shè)置為不加載圖片，在代碼中添加：

        options = webdriver.ChromeOptions()
        # 不加載圖片,加快訪問(wèn)速度
        options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

至此，關(guān)鍵的步驟我們已經(jīng)懂了，剩下的就是編寫代碼的事情了。在給定的例子中，需要你對(duì)html、css有一定了解。
比如存在以下代碼：

        self.browser.find_element_by_xpath("http://*[@class="btn_tip"]/a/span").click()
        taobao_name = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".site-nav-bd > ul.site-nav-bd-l > li#J_SiteNavLogin > div.site-nav-menu-hd > div.site-nav-user > a.site-nav-login-info-nick ")))
        print(taobao_name.text)

第1行代碼指的是從根目錄(//)開(kāi)始尋找任意(*)一個(gè)class名為btn_tip的元素，并找到btn_tip的子元素a標(biāo)簽中的子元素span

第2行代碼指的是等待某個(gè)CSS元素出現(xiàn)，否則代碼停留在這里一直檢測(cè)。以.開(kāi)頭的在CSS中表示類名(class)，以#開(kāi)頭的在CSS中表示ID名(id)。A > B，指的是A的子元素B。所以這行代碼可以理解為尋找A的子元素B的子元素C的子元素D的子元素E出現(xiàn)，否則一直在這里檢測(cè)。

第3行代碼指的是打印某個(gè)元素的文本內(nèi)容

使用教程

點(diǎn)擊這里下載下載chrome瀏覽器

查看chrome瀏覽器的版本號(hào)，點(diǎn)擊這里下載對(duì)應(yīng)版本號(hào)的chromedriver驅(qū)動(dòng)

pip安裝下列包

[x] pip install selenium

點(diǎn)擊這里登錄微博，并通過(guò)微博綁定淘寶賬號(hào)密碼

在main中填寫chromedriver的絕對(duì)路徑

在main中填寫微博賬號(hào)密碼

    #改成你的chromedriver的完整路徑地址
    chromedriver_path = "/Users/bird/Desktop/chromedriver.exe" 
    #改成你的微博賬號(hào)
    weibo_username = "改成你的微博賬號(hào)"
    #改成你的微博密碼
    weibo_password = "改成你的微博密碼"
演示圖片


圖片查看不了點(diǎn)擊這里

源代碼

項(xiàng)目源代碼在GitHub倉(cāng)庫(kù)

項(xiàng)目持續(xù)更新，歡迎您star本項(xiàng)目

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/43347.html

相關(guān)文章

  • selenium跳過(guò)webdriver檢測(cè)并爬取淘寶我已購(gòu)買的寶貝數(shù)據(jù)

    摘要：簡(jiǎn)介上一個(gè)博文已經(jīng)講述了如何使用跳過(guò)檢測(cè)并爬取天貓商品數(shù)據(jù)，所以在此不再詳細(xì)講，有需要思路的可以查看另外一篇博文。 簡(jiǎn)介 上一個(gè)博文已經(jīng)講述了如何使用selenium跳過(guò)webdriver檢測(cè)并爬取天貓商品數(shù)據(jù)，所以在此不再詳細(xì)講，有需要思路的可以查看另外一篇博文。 源代碼 # -*- coding: utf-8 -*- from selenium import webdr...

    banana_pi 評(píng)論0 收藏0

  • selenium跳過(guò)webdriver檢測(cè)并爬取天貓商品數(shù)據(jù)

    摘要：簡(jiǎn)介現(xiàn)在爬取淘寶，天貓商品數(shù)據(jù)都是需要首先進(jìn)行登錄的。把關(guān)鍵點(diǎn)放在如何爬取天貓商品數(shù)據(jù)上。是一款優(yōu)秀的自動(dòng)化測(cè)試工具，所以現(xiàn)在采用進(jìn)行半自動(dòng)化爬取數(shù)據(jù)。以開(kāi)頭的在中表示類名，以開(kāi)頭的在中表示名。 簡(jiǎn)介 現(xiàn)在爬取淘寶，天貓商品數(shù)據(jù)都是需要首先進(jìn)行登錄的。上一節(jié)我們已經(jīng)完成了模擬登錄淘寶的步驟，所以在此不詳細(xì)講如何模擬登錄淘寶。把關(guān)鍵點(diǎn)放在如何爬取天貓商品數(shù)據(jù)上。 過(guò)去我曾經(jīng)使用get/p...

    codecook 評(píng)論0 收藏0

  • 一行js代碼識(shí)別Selenium+Webdriver及其應(yīng)對(duì)方案

    摘要：截至年月日分，本文所講的方法可以用來(lái)登錄知乎。如果使用直接登錄知乎，會(huì)彈出驗(yàn)證碼先使用本文的方法再登錄知乎，能夠成功偽裝成真實(shí)的瀏覽器，不會(huì)彈出驗(yàn)證碼。實(shí)際上，能被識(shí)別的特征不止這一個(gè)。 有不少朋友在開(kāi)發(fā)爬蟲(chóng)的過(guò)程中喜歡使用Selenium + Chromedriver，以為這樣就能做到不被網(wǎng)站的反爬蟲(chóng)機(jī)制發(fā)現(xiàn)。 先不說(shuō)淘寶這種基于用戶行為的反爬蟲(chóng)策略，僅僅是一個(gè)普通的小網(wǎng)站，使用一行...

    andycall 評(píng)論0 收藏0

  • 一行js代碼識(shí)別Selenium+Webdriver及其應(yīng)對(duì)方案

    摘要：截至年月日分，本文所講的方法可以用來(lái)登錄知乎。如果使用直接登錄知乎，會(huì)彈出驗(yàn)證碼先使用本文的方法再登錄知乎，能夠成功偽裝成真實(shí)的瀏覽器，不會(huì)彈出驗(yàn)證碼。實(shí)際上，能被識(shí)別的特征不止這一個(gè)。 有不少朋友在開(kāi)發(fā)爬蟲(chóng)的過(guò)程中喜歡使用Selenium + Chromedriver，以為這樣就能做到不被網(wǎng)站的反爬蟲(chóng)機(jī)制發(fā)現(xiàn)。 先不說(shuō)淘寶這種基于用戶行為的反爬蟲(chóng)策略，僅僅是一個(gè)普通的小網(wǎng)站，使用一行...

    Tamic 評(píng)論0 收藏0

  • Web開(kāi)發(fā) - Selenium自動(dòng)化&爬蟲(chóng)

    摘要：自動(dòng)化爬取淘寶中的訂單這是淘寶會(huì)員登錄頁(yè)。但淘寶的反爬機(jī)制很難算出，很多都是通過(guò)的計(jì)算，所以不得不學(xué)習(xí)源碼，反到最后看的頭痛。。。 自動(dòng)化爬取淘寶中的訂單 這是 淘寶會(huì)員登錄頁(yè) 。因?yàn)橹白龅呐老x(chóng)都是通過(guò)框架或從登錄頁(yè)取得Cookie，再注入進(jìn)去實(shí)現(xiàn)登陸過(guò)程的。但淘寶的反爬機(jī)制很難算出Cookie，很多Cookie都是通過(guò)JS的計(jì)算，所以不得不學(xué)習(xí)源碼，反到最后看的頭痛。。。 第一次嘗...

    Chao 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<