摘要：如何利用網(wǎng)頁請(qǐng)求暴露出來的接口去抓取網(wǎng)頁數(shù)據(jù)很多爬蟲都能實(shí)現(xiàn)這個(gè)功能?？缬蛲ㄐ艜r(shí)，瀏覽器會(huì)報(bào)如下錯(cuò)誤其實(shí)這兩個(gè)問題都是由于跨域造成的。結(jié)果這些數(shù)據(jù)可以在請(qǐng)求成功會(huì)傳回本地。

如何利用網(wǎng)頁ajax請(qǐng)求暴露出來的接口去抓取網(wǎng)頁數(shù)據(jù)？很多爬蟲都能實(shí)現(xiàn)這個(gè)功能。不過今天要來和大家八一八單從前端的角度，利用js解決這個(gè)問題。

大家都知道，在不同域的情況下是不能發(fā)送ajax請(qǐng)求的，瀏覽器會(huì)報(bào)如下錯(cuò)誤：

同時(shí)，內(nèi)嵌的iframe中無法進(jìn)行跨域通信的，也就是說不同域的iframe是無法互相讀取數(shù)據(jù)的(當(dāng)然利用hash變化可以從父window傳入數(shù)據(jù)到子iframe，不過并沒有什么意義)。iframe跨域通信時(shí)，瀏覽器會(huì)報(bào)如下錯(cuò)誤：

其實(shí)這兩個(gè)問題都是由于跨域造成的。

下面就介紹如何解決這個(gè)問題。

其實(shí)問題的關(guān)鍵就在于，瀏覽器在解析ajax請(qǐng)求地址時(shí)會(huì)和當(dāng)前網(wǎng)頁的地址進(jìn)行比較，如果是跨域的，那就禁止掉并且報(bào)錯(cuò)。那么我們?nèi)绻尀g覽器解析出的ajax地址和當(dāng)前網(wǎng)頁的解析地址一樣，瀏覽器不就不會(huì)禁止我們的請(qǐng)求了么。

那么瀏覽器是如何解析url的呢？

首先當(dāng)瀏覽器訪問一個(gè)域名時(shí)，會(huì)查詢本地的DNS緩存中是否有關(guān)于這個(gè)網(wǎng)址對(duì)應(yīng)ip地址，如果有的話，直接從本地取得ip地址然后訪問，如果沒有，瀏覽器就會(huì)向DNS服務(wù)器發(fā)出DNS請(qǐng)求獲得該域名對(duì)應(yīng)的ip地址然后存入本地緩存然后訪問。

那么介于以上問題，我們只要在本地偽造一條域名的解析方式，然后再通過偽造的域和目標(biāo)域進(jìn)行跨域請(qǐng)求不就可以了么。

windows下的打開C:WindowsSystem32driversetc
這個(gè)文件夾下有一個(gè)hosts文件，如果改過hosts來上谷歌的同學(xué)對(duì)這個(gè)應(yīng)該很熟悉，在hosts文件里加上這樣一段代碼：

127.0.0.1         a.目標(biāo)網(wǎng)址.com

這樣你的訪問a.目標(biāo)網(wǎng)址.com就和訪問localhost一樣了，這樣做的目的是方便搭起本地的服務(wù)時(shí)，本地的服務(wù)和目標(biāo)的域名之間就不會(huì)存在跨域問題了，這樣就能在本地，通過在目標(biāo)網(wǎng)頁植入iframe標(biāo)簽的方式，向目標(biāo)域發(fā)起跨域請(qǐng)求，取得目標(biāo)域的數(shù)據(jù)。

腳本代碼，直接插在父域

var mySrc = "http://a.目標(biāo)網(wǎng)址.com:9000/myIframe.html";

document.domain = "目標(biāo)網(wǎng)址.com";     //關(guān)鍵代碼，將域提升到根域

$("body").append("