資訊專欄INFORMATION COLUMN
摘要：事后策略指感知到有爬蟲(chóng)事件后，采取的封禁驗(yàn)證碼等組合策略。三反爬架構(gòu)什么樣數(shù)據(jù)支撐平臺(tái)通過(guò)埋點(diǎn)采集等方式接入各類維度的基礎(chǔ)數(shù)據(jù)和第三方指紋，封裝成統(tǒng)一的數(shù)據(jù)輸出形式。
一、反爬體系要做什么
完整的反爬體系有三大部分工作要做：感知識(shí)別、策略分析、監(jiān)控封禁。
（一）感知識(shí)別：
數(shù)據(jù)支撐：爬蟲(chóng)指紋、設(shè)備指紋、風(fēng)險(xiǎn)UA、IP庫(kù)等，不同端指紋的mapping等。
數(shù)據(jù)感知，什么人，通過(guò)什么方式，用什么爬蟲(chóng)，在什么時(shí)間，爬取了我們什么內(nèi)容。
（二）策略分析：
事前策略：通過(guò)技術(shù)手段，在源頭使攻擊者無(wú)法爬取。
事后策略：指感知到有爬蟲(chóng)事件后，采取的封禁、驗(yàn)證碼等組合策略。
（三）識(shí)別封禁：
離線識(shí)別：通過(guò)數(shù)據(jù)埋點(diǎn)監(jiān)控，可離線分析爬蟲(chóng)情況，實(shí)時(shí)性差，但對(duì)業(yè)務(wù)無(wú)任何影響。
在線識(shí)別：在線檢測(cè)服務(wù)，在業(yè)務(wù)關(guān)鍵節(jié)點(diǎn)，調(diào)用在線檢測(cè)服務(wù)，實(shí)時(shí)感知爬蟲(chóng)情況。
離線阻斷：離線分析后，根據(jù)策略篩選出要封禁的IP、UA、Session、userid等，調(diào)用封禁服務(wù)統(tǒng)一封禁。
在線阻斷：在線檢測(cè)到爬蟲(chóng)行為后，直接調(diào)用封禁服務(wù)阻斷爬蟲(chóng)。
二、反爬策略有哪些
（一）事前策略：
js計(jì)算：js添加簡(jiǎn)單的數(shù)學(xué)計(jì)算，要求瀏覽器計(jì)算結(jié)果之后，返回給后端校驗(yàn)計(jì)算結(jié)果，來(lái)識(shí)別是否是爬蟲(chóng)行為。
js生成動(dòng)態(tài)url：
生成動(dòng)態(tài)參數(shù)：訪問(wèn)頁(yè)面，先返回js腳本，js生成一個(gè)新參數(shù)，加入原請(qǐng)求中，再訪問(wèn)，才可得到數(shù)據(jù)。
生成動(dòng)態(tài)地址：訪問(wèn)頁(yè)面，先返回js腳本，js生成新接口地址，再訪問(wèn)新接口，才可得到數(shù)據(jù)。
js生成動(dòng)態(tài)頁(yè)面：動(dòng)態(tài)生成js標(biāo)簽
因?yàn)閖s對(duì)用戶是可見(jiàn)的，所以要盡量提升攻擊成本，要寫(xiě)難懂的js，比如大量使用eval和goto，比如做js混淆、js壓縮等。
（二）事后策略：
閾值封鎖
IP維度：常見(jiàn)，但有兩個(gè)缺陷：容易誤傷普通用戶，容易被繞過(guò)。
Session或uid等維度：需要考慮不同業(yè)務(wù)的Session或uid邏輯，是否唯一穩(wěn)定？是否非空？
UA維度：誤殺非常嚴(yán)重，除非能準(zhǔn)確識(shí)別爬蟲(chóng)UA。
設(shè)備指紋：PC、APP、小程序。
投毒：命中相應(yīng)策略后，后端給前端反回一定比例的假數(shù)據(jù)。
驗(yàn)證碼：圖形、劃動(dòng)、短信、人臉、聲紋。
加密：app參數(shù)加密，PC小程序前后端加密。前端加密需要做js混淆等處理。
三、反爬架構(gòu)什么樣
數(shù)據(jù)支撐平臺(tái)：通過(guò)埋點(diǎn)、采集等方式接入各類維度的基礎(chǔ)數(shù)據(jù)和第三方指紋sdk，封裝成統(tǒng)一的數(shù)據(jù)輸出形式。數(shù)據(jù)輸出可以接口、db、log等不同形式。
數(shù)據(jù)分析平臺(tái)；輸入支撐數(shù)據(jù)，輸出爬蟲(chóng)畫(huà)像。
策略分析平臺(tái)：輸入爬蟲(chóng)畫(huà)像，采取不同策略，輸出策略分析結(jié)果。
上報(bào)阻斷平臺(tái)：輸入策略分析結(jié)果，上報(bào)給運(yùn)維，做阻斷。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/11993.html
摘要：事后策略指感知到有爬蟲(chóng)事件后，采取的封禁驗(yàn)證碼等組合策略。三反爬架構(gòu)什么樣數(shù)據(jù)支撐平臺(tái)通過(guò)埋點(diǎn)采集等方式接入各類維度的基礎(chǔ)數(shù)據(jù)和第三方指紋，封裝成統(tǒng)一的數(shù)據(jù)輸出形式。 一、反爬體系要做什么 完整的反爬體系有三大部分工作要做：感知識(shí)別、策略分析、監(jiān)控封禁。 （一）感知識(shí)別： 數(shù)據(jù)支撐：爬蟲(chóng)指紋、設(shè)備指紋、風(fēng)險(xiǎn)UA、IP庫(kù)等，不同端指紋的mapping等。 數(shù)據(jù)感知，什么人，通過(guò)什么方式...
摘要：以上是如果你想精通網(wǎng)絡(luò)爬蟲(chóng)的學(xué)習(xí)研究路線，按照這些步驟學(xué)習(xí)下去，可以讓你的爬蟲(chóng)技術(shù)得到非常大的提升。 作者：韋瑋 轉(zhuǎn)載請(qǐng)注明出處 隨著大數(shù)據(jù)時(shí)代的到來(lái)，人們對(duì)數(shù)據(jù)資源的需求越來(lái)越多，而爬蟲(chóng)是一種很好的自動(dòng)采集數(shù)據(jù)的手段。 那么，如何才能精通Python網(wǎng)絡(luò)爬蟲(chóng)呢？學(xué)習(xí)Python網(wǎng)絡(luò)爬蟲(chóng)的路線應(yīng)該如何進(jìn)行呢？在此為大家具體進(jìn)行介紹。 1、選擇一款合適的編程語(yǔ)言 事實(shí)上，Python、P...
摘要：不過(guò)，字體反爬也沒(méi)有用，畢竟我們會(huì)破哈哈。抖音的字體反爬是在一個(gè)分享個(gè)人主頁(yè)的鏈接中，別的鏈接暫時(shí)沒(méi)有測(cè)試，不過(guò)破了一個(gè)其他的也就破了。下載完之后我們可以用的一個(gè)工具包來(lái)查看字體映射。 現(xiàn)在的網(wǎng)站，處處都是反爬，我們這些爬蟲(chóng)的經(jīng)常需要和他們斗智斗勇，就看誰(shuí)更厲害。這不，就連字體也弄成了反爬，而且還不止一個(gè)網(wǎng)站，常見(jiàn)的就有貓眼和汽車之家。不過(guò)，字體反爬也沒(méi)有用，畢竟我們會(huì)破！哈哈。 抖音...
摘要：極簡(jiǎn)爬蟲(chóng)攻防戰(zhàn)紀(jì)要爬蟲(chóng)是構(gòu)建搜索引擎的基礎(chǔ)負(fù)責(zé)抓取網(wǎng)頁(yè)信息并對(duì)網(wǎng)頁(yè)識(shí)別分類及過(guò)濾。爬蟲(chóng)方終于鎖定了第一場(chǎng)戰(zhàn)役的勝局由于斷崖式技術(shù)的出現(xiàn)，反爬方在瀏覽器識(shí)別戰(zhàn)役上望風(fēng)披靡。經(jīng)過(guò)反爬方的精心運(yùn)作，逐漸有效削弱了敵方的攻勢(shì)。 極簡(jiǎn)爬蟲(chóng)攻防戰(zhàn)紀(jì)要 ? ??爬蟲(chóng)是構(gòu)建搜索引擎的基礎(chǔ), 負(fù)責(zé)抓取網(wǎng)頁(yè)信息并對(duì)網(wǎng)頁(yè)識(shí)別、分類及過(guò)濾。我們熟識(shí)的電商、搜索、新聞及各大門(mén)戶網(wǎng)站都有強(qiáng)大的爬蟲(chóng)集群在每...
摘要：通過(guò)本文的學(xué)習(xí)，可以快速掌握網(wǎng)絡(luò)爬蟲(chóng)基礎(chǔ)，結(jié)合實(shí)戰(zhàn)練習(xí)，寫(xiě)出一些簡(jiǎn)單的爬蟲(chóng)項(xiàng)目。從技術(shù)手段來(lái)說(shuō)，網(wǎng)絡(luò)爬蟲(chóng)有多種實(shí)現(xiàn)方案，如。二網(wǎng)絡(luò)爬蟲(chóng)技術(shù)基礎(chǔ)在本次課中，將使用技術(shù)手段進(jìn)行項(xiàng)目的編寫(xiě)。 摘要：本文詳細(xì)講解了python網(wǎng)絡(luò)爬蟲(chóng)，并介紹抓包分析等技術(shù)，實(shí)戰(zhàn)訓(xùn)練三個(gè)網(wǎng)絡(luò)爬蟲(chóng)案例，并簡(jiǎn)單補(bǔ)充了常見(jiàn)的反爬策略與反爬攻克手段。通過(guò)本文的學(xué)習(xí)，可以快速掌握網(wǎng)絡(luò)爬蟲(chóng)基礎(chǔ)，結(jié)合實(shí)戰(zhàn)練習(xí)，寫(xiě)出一些簡(jiǎn)單的...
閱讀 3423·2021-11-25 09:43
閱讀 2307·2021-09-06 15:02
閱讀 3548·2021-08-18 10:21
閱讀 3346·2019-08-30 15:55
閱讀 2354·2019-08-29 17:06
閱讀 3539·2019-08-29 16:59
閱讀 971·2019-08-29 13:47
閱讀 2768·2019-08-26 13:24
