成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

如何避免Puppeteer被前端JS檢測

isaced / 1543人閱讀

摘要：工具和資料群高級爬蟲作者自建群，歡迎加入中國商標(biāo)網(wǎng)加密接口僅作演示作者收集的爬蟲相關(guān)工具和資料前言這兩天開始看，發(fā)現(xiàn)居然也能被某數(shù)的前端檢測出來的區(qū)找了找，原來啟動的里面，是有屬性的，搞什么搞么，老外真是做那啥還要立牌坊方案區(qū)里

工具和資料

QQ群 - Javascript高級爬蟲 - 作者自建群，歡迎加入！

中國商標(biāo)網(wǎng)加密接口 - 僅作演示

awesome-java-crawler - 作者收集的爬蟲相關(guān)工具和資料

前言

這兩天開始看puppeteer，發(fā)現(xiàn)居然也能被某數(shù)的前端js檢測出來?。?br>github的issue區(qū)找了找，原來puppeteer啟動的chrome里面，是有navigator.webdriver屬性的，搞什么搞么，老外真是做那啥還要立牌坊……

方案1

issue區(qū)里看到的解決方案：

await this.page.evaluateOnNewDocument(() => {
         Object.defineProperty(navigator, "webdriver", {
         get: () => undefined,
    });
 }

但是說實話這個還是有點問題的，因為用"webdriver" in navigator還是能檢測出來。

方案2

想找找到底哪個環(huán)節(jié)把"webdriver"屬性加上的，但是文本搜索發(fā)現(xiàn)puppeteer源碼中并沒有……
后來chrome中用chrome:version看了下命令行啟動參數(shù)，結(jié)果發(fā)現(xiàn)了這個："--enable-automation"……
一看就有問題，為了確認(rèn)特意搜了一下這個命令行參數(shù)的說明：

--enable-automation: Inform users that their browser is being controlled by an automated test.

媽蛋純粹是立牌坊用的，其它毛用沒有……

確認(rèn)了就可以干掉它了，啟動chrome時加個忽略默認(rèn)參數(shù)即可：

const browser = await puppeteer.launch({ignoreDefaultArgs: ["--enable-automation"]});

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/44093.html

相關(guān)文章

  • 如何避免Puppeteer被前端JS檢測

    摘要：工具和資料群高級爬蟲作者自建群，歡迎加入中國商標(biāo)網(wǎng)加密接口僅作演示作者收集的爬蟲相關(guān)工具和資料前言這兩天開始看，發(fā)現(xiàn)居然也能被某數(shù)的前端檢測出來的區(qū)找了找，原來啟動的里面，是有屬性的，搞什么搞么，老外真是做那啥還要立牌坊方案區(qū)里 showImg(https://segmentfault.com/img/remote/1460000018765904); 工具和資料 QQ群 - Ja...

    keelii 評論0 收藏0

  • Puppeteer前端自動化測試實踐

    摘要：本篇內(nèi)容將記錄并介紹使用進行自動化網(wǎng)頁測試，并依靠約定來避免反復(fù)修改測試用例的方案?？偨Y(jié)根據(jù)以上的功能劃分，我們很好的將一整個應(yīng)用拆分成各個測試單元進行單元測試。 本篇內(nèi)容將記錄并介紹使用Puppeteer進行自動化網(wǎng)頁測試，并依靠約定來避免反復(fù)修改測試用例的方案。主要解決頁面眾多時，修改代碼導(dǎo)致的牽連錯誤無法被發(fā)現(xiàn)的運行時問題。文章首發(fā)于個人博客。對前端感興趣希望一起討論的可以加我v...

    Jensen 評論0 收藏0

  • 前端清單第 27 期：React Patent License 回復(fù)，Shopify WebVR 購

    摘要：新聞熱點國內(nèi)國外，前端最新動態(tài)就開源許可證風(fēng)波進行回復(fù)數(shù)周前，基金會決定禁止旗下項目使用，因為其在標(biāo)準(zhǔn)的許可證之外添加了專利聲明此舉引發(fā)了社區(qū)的廣泛討論，希望能夠更新其開源許可證。 showImg(https://segmentfault.com/img/remote/1460000010777089); 前端每周清單第 27 期：React Patent License 回復(fù)，Sho...

    jeffrey_up 評論0 收藏0

  • 小程序測試方案初探

    摘要：前言年月號微信小程序正式上線，小程序不需要安裝就能使用，依托微信強大的生態(tài)環(huán)境，能做到很多所不能做的事情。當(dāng)然更希望的是小程序官方能給出相應(yīng)的單元測試方案吧。 前言 2017年1月9號微信小程序正式上線，小程序不需要安裝就能使用，依托微信強大的生態(tài)環(huán)境，能做到很多H5所不能做的事情。從微信小程序發(fā)布這段時間，陸陸續(xù)續(xù)開發(fā)了不少小程序相關(guān)的項目，總結(jié)了一些通用性的組件，但是對于小程序如何...

    church 評論0 收藏0

  • 1.前端自動化測試 之 視覺測試

    摘要：視覺感知測試視覺回歸測試為了解決上面提到的各種問題，視覺感知測試孕育而生。第三種方式，無法進行視覺感知測試結(jié)果只能進行視覺回歸測試和上一版的繼續(xù)比較差異。 前端自動化測試 之 視覺測試 showImg(https://segmentfault.com/img/remote/1460000014720180); 前端測試分類 showImg(https://segmentfault.co...

    VioletJack 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<