如何避免Puppeteer被前端JS檢測(cè)

keelii 發(fā)布于2019-08-23 18:14 / 2238人閱讀

摘要：工具和資料群高級(jí)爬蟲(chóng)作者自建群，歡迎加入中國(guó)商標(biāo)網(wǎng)加密接口僅作演示作者收集的爬蟲(chóng)相關(guān)工具和資料前言這兩天開(kāi)始看，發(fā)現(xiàn)居然也能被某數(shù)的前端檢測(cè)出來(lái)的區(qū)找了找，原來(lái)啟動(dòng)的里面，是有屬性的，搞什么搞么，老外真是做那啥還要立牌坊方案區(qū)里

工具和資料

QQ群 - Javascript高級(jí)爬蟲(chóng) - 作者自建群，歡迎加入！

中國(guó)商標(biāo)網(wǎng)加密接口 - 僅作演示

awesome-java-crawler - 作者收集的爬蟲(chóng)相關(guān)工具和資料

前言

這兩天開(kāi)始看puppeteer，發(fā)現(xiàn)居然也能被某數(shù)的前端js檢測(cè)出來(lái)?。?br>github的issue區(qū)找了找，原來(lái)puppeteer啟動(dòng)的chrome里面，是有navigator.webdriver屬性的，搞什么搞么，老外真是做那啥還要立牌坊……

方案1

issue區(qū)里看到的解決方案：

await this.page.evaluateOnNewDocument(() => {
         Object.defineProperty(navigator, "webdriver", {
         get: () => undefined,
    });
 }

但是說(shuō)實(shí)話這個(gè)還是有點(diǎn)問(wèn)題的，因?yàn)橛?b>"webdriver" in navigator還是能檢測(cè)出來(lái)。

方案2

想找找到底哪個(gè)環(huán)節(jié)把"webdriver"屬性加上的，但是文本搜索發(fā)現(xiàn)puppeteer源碼中并沒(méi)有……
后來(lái)chrome中用chrome:version看了下命令行啟動(dòng)參數(shù)，結(jié)果發(fā)現(xiàn)了這個(gè)："--enable-automation"……
一看就有問(wèn)題，為了確認(rèn)特意搜了一下這個(gè)命令行參數(shù)的說(shuō)明：

--enable-automation: Inform users that their browser is being controlled by an automated test.

媽蛋純粹是立牌坊用的，其它毛用沒(méi)有……

確認(rèn)了就可以干掉它了，啟動(dòng)chrome時(shí)加個(gè)忽略默認(rèn)參數(shù)即可：

const browser = await puppeteer.launch({ignoreDefaultArgs: ["--enable-automation"]});

GPU云服務(wù)器云服務(wù)器 amazon如何避免被關(guān)聯(lián) 亞馬遜如何避免被關(guān)聯(lián) 云主機(jī)怎么避免被攻擊避免云服務(wù)器被攻擊

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/104878.html

相關(guān)文章

如何避免Puppeteer被前端JS檢測(cè)

摘要：工具和資料群高級(jí)爬蟲(chóng)作者自建群，歡迎加入中國(guó)商標(biāo)網(wǎng)加密接口僅作演示作者收集的爬蟲(chóng)相關(guān)工具和資料前言這兩天開(kāi)始看，發(fā)現(xiàn)居然也能被某數(shù)的前端檢測(cè)出來(lái)的區(qū)找了找，原來(lái)啟動(dòng)的里面，是有屬性的，搞什么搞么，老外真是做那啥還要立牌坊方案區(qū)里 showImg(https://segmentfault.com/img/remote/1460000018765904); 工具和資料 QQ群 - Ja...

isaced 2019-07-31 10:36 評(píng)論0 收藏0
Puppeteer前端自動(dòng)化測(cè)試實(shí)踐

摘要：本篇內(nèi)容將記錄并介紹使用進(jìn)行自動(dòng)化網(wǎng)頁(yè)測(cè)試，并依靠約定來(lái)避免反復(fù)修改測(cè)試用例的方案?？偨Y(jié)根據(jù)以上的功能劃分，我們很好的將一整個(gè)應(yīng)用拆分成各個(gè)測(cè)試單元進(jìn)行單元測(cè)試。本篇內(nèi)容將記錄并介紹使用Puppeteer進(jìn)行自動(dòng)化網(wǎng)頁(yè)測(cè)試，并依靠約定來(lái)避免反復(fù)修改測(cè)試用例的方案。主要解決頁(yè)面眾多時(shí)，修改代碼導(dǎo)致的牽連錯(cuò)誤無(wú)法被發(fā)現(xiàn)的運(yùn)行時(shí)問(wèn)題。文章首發(fā)于個(gè)人博客。對(duì)前端感興趣希望一起討論的可以加我v...

Jensen 2019-08-23 15:20 評(píng)論0 收藏0
前端清單第 27 期：React Patent License 回復(fù)，Shopify WebVR 購(gòu)

摘要：新聞熱點(diǎn)國(guó)內(nèi)國(guó)外，前端最新動(dòng)態(tài)就開(kāi)源許可證風(fēng)波進(jìn)行回復(fù)數(shù)周前，基金會(huì)決定禁止旗下項(xiàng)目使用，因?yàn)槠湓跇?biāo)準(zhǔn)的許可證之外添加了專(zhuān)利聲明此舉引發(fā)了社區(qū)的廣泛討論，希望能夠更新其開(kāi)源許可證。 showImg(https://segmentfault.com/img/remote/1460000010777089); 前端每周清單第 27 期：React Patent License 回復(fù)，Sho...

jeffrey_up 2019-08-21 12:03 評(píng)論0 收藏0
小程序測(cè)試方案初探

摘要：前言年月號(hào)微信小程序正式上線，小程序不需要安裝就能使用，依托微信強(qiáng)大的生態(tài)環(huán)境，能做到很多所不能做的事情。當(dāng)然更希望的是小程序官方能給出相應(yīng)的單元測(cè)試方案吧。前言 2017年1月9號(hào)微信小程序正式上線，小程序不需要安裝就能使用，依托微信強(qiáng)大的生態(tài)環(huán)境，能做到很多H5所不能做的事情。從微信小程序發(fā)布這段時(shí)間，陸陸續(xù)續(xù)開(kāi)發(fā)了不少小程序相關(guān)的項(xiàng)目，總結(jié)了一些通用性的組件，但是對(duì)于小程序如何...

church 2019-05-29 17:01 評(píng)論0 收藏0
1.前端自動(dòng)化測(cè)試之視覺(jué)測(cè)試

摘要：視覺(jué)感知測(cè)試視覺(jué)回歸測(cè)試為了解決上面提到的各種問(wèn)題，視覺(jué)感知測(cè)試孕育而生。第三種方式，無(wú)法進(jìn)行視覺(jué)感知測(cè)試結(jié)果只能進(jìn)行視覺(jué)回歸測(cè)試和上一版的繼續(xù)比較差異。前端自動(dòng)化測(cè)試之視覺(jué)測(cè)試 showImg(https://segmentfault.com/img/remote/1460000014720180); 前端測(cè)試分類(lèi) showImg(https://segmentfault.co...

VioletJack 2019-08-26 11:53 評(píng)論0 收藏0