成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---7、Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---APP爬取相關(guān)庫的安裝：Char

keelii / 3024人閱讀

摘要：點擊，即可進入證書的安裝頁面。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)庫的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---6、Web庫的安裝：Flask、Tornado
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---8、APP爬取相關(guān)庫的安裝：MitmProxy的安裝

除了 Web 網(wǎng)頁，爬蟲也可以對 APP 的數(shù)據(jù)進行抓取，APP 中的頁面要加載出來，首先需要獲取數(shù)據(jù)，那么這些數(shù)據(jù)一般是通過請求服務(wù)器的接口來獲取的，由于 APP 端沒有像瀏覽器一樣的開發(fā)者工具直接比較直觀地看到后臺的請求，所以對 APP 來說，它的數(shù)據(jù)抓取主要用到一些抓包技術(shù)。

本書介紹的抓包工具有 Charles、MitmProxy、MitmDump，APP 一些簡單的接口我們通過 Charles 或 MitmProxy 分析找出規(guī)律就可以直接用程序模擬來抓取了，但是如果遇到更復雜的接口我們就需要利用 MitmDump 對接Python來對抓取到的請求和響應(yīng)進行實時處理和保存，另外既然要做規(guī)模采集就需要自動化 APP 的操作而不是人工去采集，所以這里還需要一個工具叫做 Appium，它可以像 Selenium 一樣對 APP 進行自動化控制，如自動化模擬APP的點擊、下拉等操作。

本節(jié)我們來了解一下 Charles、MitmProxy、MitmDump、Appium 的安裝方法。

1.6.1 Charles的安裝

Charles 是一個網(wǎng)絡(luò)抓包工具，在做 APP 抓包的時候會用到，相比 Fiddler 來說，Charles 的功能更為強大，而且跨平臺支持更好，所以在這里我們選用 Charles 來作為主要的移動端抓包工具，用于分析移動 APP 的數(shù)據(jù)包，輔助完成 APP 數(shù)據(jù)抓取工作。

1. 相關(guān)鏈接

官方網(wǎng)站：https://www.charlesproxy.com

下載鏈接：https://www.charlesproxy.com/...

2.下載Charles

Charles 的官網(wǎng)是：https://www.charlesproxy.com，我們可以在官網(wǎng)下載最新穩(wěn)定版本，鏈接為：https://www.charlesproxy.com/...，它支持 Windows、Linux、Mac 三大平臺。

3. 證書配置

現(xiàn)在很多頁面都在向 HTTPS 方向發(fā)展，HTTPS 通信協(xié)議應(yīng)用越來越廣泛，如果一個 APP 通信應(yīng)用了 HTTPS 協(xié)議，那它通信的數(shù)據(jù)都會是被加密的，常規(guī)的截包方法是無法識別請求內(nèi)部的數(shù)據(jù)的。
安裝完成之后如果我們想要做 HTTPS 抓包的話還需要配置一下相關(guān) SSL 證書，如果不配置的話無法抓取 HTTPS 請求。

點擊 Help->SSL Proxying->Install Charles Root Certificate，即可進入證書的安裝頁面。
接下來找到 Charles 的證書雙擊，將信任設(shè)置為始終信任即可，如圖 1-48 所示：

圖 1-48 證書配置
這樣就成功安裝了證書。

iOS

如果你的手機是 iOS 系統(tǒng)，可以按照下面的操作進行證書配置。
首先查看一下電腦的 Charles 代理是是否開啟的，點擊 Proxy->Proxy Settings 即可打開當前代理設(shè)置頁面，確保當前的 HTTP 代理是開啟的，如圖 1-49 所示：

圖 1-49 代理設(shè)置
例如這里的代理端口為 8888，也可以自行修改。
接下來將手機和電腦連在同一個局域網(wǎng)下，例如當前電腦的 IP 為 192.168.1.76，那么首先設(shè)置手機的代理為 192.168.1.76:8888，設(shè)置如圖 1-50 所示：

圖 1-50 代理設(shè)置
設(shè)置完畢之后電腦上就會出現(xiàn)一個提示窗口，詢問是否信任此設(shè)備，如圖 1-51 所示：

圖 1-51 提示窗口
點擊 Allow 即可，這樣手機就和 PC 連在了同一個局域網(wǎng)內(nèi)了，而且設(shè)置了 Charles 的代理，這樣 Charles 即可抓取到流經(jīng) APP 的數(shù)據(jù)包了。
接下來我們再安裝 Charles 的 HTTPS 證書。
在電腦上打開 Help->SSL Proxying->Install Charles Root Certificate on a Mobile Device or Remote Browser，如圖 1-52 所示：

圖 1-52 證書安裝頁面入口
即可看到如下提示，如圖 1-53 所示：

它提示我們在手機上設(shè)置好 Charles 的代理，我們剛才已經(jīng)設(shè)置好了，然后在手機的瀏覽器中打開 chls.pro/ssl 下載證書，我們在手機上打開這個鏈接。
打開之后便會彈出證書的安裝頁面，如圖 1-54 所示：

圖 1-54 證書安裝頁面
我們點擊安裝，然后輸入密碼即可完成安裝，如圖 1-55 所示：

圖 1-55 安裝成功頁面
如果你的 iOS 版本是 10.3 以下的話，此處信任 CA 證書的流程就已經(jīng)完成了。
如果你的 iOS 版本是 10.3 及以上，還需要在設(shè)置->通用->關(guān)于本機->證書信任設(shè)置將證書添加完全信任，如圖 1-56 所示：
在這里將 Charles 的證書的完全信任開關(guān)打開即可，如圖 1-56 所示：

圖 1-56 證書信任設(shè)置
這樣 iOS 上配置信任 CA 證書的流程就結(jié)束了。

Android

如果你的手機是 Android 系統(tǒng)，可以按照下面的操作進行證書配置。
Android 同樣需要設(shè)置代理為 Charles 的代理，如圖 1-57 所示：

圖 1-57 代理設(shè)置
設(shè)置完畢之后電腦上就會出現(xiàn)一個提示窗口，詢問是否信任此設(shè)備，如圖 1-58 所示：

圖 1-58 提示窗口
點擊 Allow 即可。
接下來像 iOS 設(shè)備一樣，在手機瀏覽器上打開 chls.pro/ssl，這時會出現(xiàn)一個提示框，如圖 1-59 所示：
evernotecid://D603D29C-DFBA-4C04-85E9-CCA3C33763F6/appyinxiangcom/23852268/ENResource/p75

圖 1-59 證書安裝頁面
我們?yōu)樽C書添加一個名稱，然后點擊確定即可完成證書的安裝。

4. 結(jié)語

本文介紹了 Charles 的安裝及證書配置過程，后文我們會介紹 Charles 的基本使用方法。

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---6、Web庫的安裝：Flask、Tornado
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---8、APP爬取相關(guān)庫的安裝：MitmProxy的安裝

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/44042.html

相關(guān)文章

  • Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---8、APP爬取相關(guān)庫的安裝：MitmProxy的安裝

    摘要：下的安裝的安裝非常簡單，使用即可，命令如下執(zhí)行命令后即可完成的安裝。另外還可以在端口上啟動，命令如下更多啟動方式可以參考的安裝說明。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---7、Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---APP爬取相關(guān)庫的安裝：Charles的安裝下一篇文章：Python3網(wǎng)絡(luò)...

    Kerr1Gan 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---10、爬蟲框架的安裝：PySpider、Scrapy

    摘要：所以如果對爬蟲有一定基礎(chǔ)，上手框架是一種好的選擇。缺少包，使用安裝即可缺少包，使用安裝即可上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬蟲框架的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---9、APP爬取相關(guān)庫的安裝：Appium的安裝下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis 我們直接...

    張憲坤 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---9、APP爬取相關(guān)庫的安裝：Appium的安裝

    摘要：支持全平臺的安裝，我們直接從的里面安裝即可，鏈接為。平臺可以下載安裝包如，平臺可以下載安裝包如，平臺可以選擇下載源碼，但是更推薦用下文的安裝方式。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬蟲框架的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---8、APP爬取相關(guān)庫的安裝：MitmProxy的安裝下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---10、爬蟲框架的安裝...

    caige 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---6、Web庫的安裝：Flask、Tornado

    摘要：在本書中用到的一些服務(wù)程序主要有。本節(jié)來分別介紹它們的安裝方法。的安裝是一個輕量級的服務(wù)程序，簡單易用靈活，在本書中我們主要用它來做一些服務(wù)，本節(jié)我們來了解下它的安裝方式。相關(guān)鏈接官方文檔安裝執(zhí)行完畢之后即可完成安裝。 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---5、存儲庫的安裝:PyMySQL、PyMongo、RedisPy、RedisDump下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)-...

    yeyan1996 評論0 收藏0

  • 首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

    摘要：時間永遠都過得那么快，一晃從年注冊，到現(xiàn)在已經(jīng)過去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...

    Harriet666 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<