摘要：爬取網(wǎng)易云音樂的歌單。打開歌單的，然后用提取播放數(shù)。值得強(qiáng)調(diào)的是，不要將動(dòng)態(tài)網(wǎng)頁(yè)和頁(yè)面內(nèi)容是否有動(dòng)感混為一談。它會(huì)把網(wǎng)站加載到內(nèi)存并執(zhí)行頁(yè)面上的，但是它不會(huì)向用戶展示網(wǎng)頁(yè)的圖形界面。

爬取網(wǎng)易云音樂的歌單。

打開歌單的url: http://music.163.com/#/discov...，然后用lxml.html提取播放數(shù)3715。結(jié)果表明，我們什么也沒提取到。難道我們打開了一個(gè)假的網(wǎng)頁(yè)？

動(dòng)態(tài)網(wǎng)頁(yè)：所謂的動(dòng)態(tài)網(wǎng)頁(yè)，是指跟靜態(tài)網(wǎng)頁(yè)相對(duì)的一種網(wǎng)頁(yè)編程技術(shù)。靜態(tài)網(wǎng)頁(yè)，隨著html代碼的生成，頁(yè)面的內(nèi)容和顯示效果就基本上不會(huì)發(fā)生變化了——除非你修改頁(yè)面代碼。而動(dòng)態(tài)網(wǎng)頁(yè)則不然，頁(yè)面代碼雖然沒有變，但是顯示的內(nèi)容卻是可以隨著時(shí)間、環(huán)境或者數(shù)據(jù)庫(kù)操作的結(jié)果而發(fā)生改變的。

值得強(qiáng)調(diào)的是，不要將動(dòng)態(tài)網(wǎng)頁(yè)和頁(yè)面內(nèi)容是否有動(dòng)感混為一談。這里說的動(dòng)態(tài)網(wǎng)頁(yè)，與網(wǎng)頁(yè)上的各種動(dòng)畫、滾動(dòng)字幕等視覺上的動(dòng)態(tài)效果沒有直接關(guān)系，動(dòng)態(tài)網(wǎng)頁(yè)也可以是純文字內(nèi)容的，也可以是包含各種動(dòng)畫的內(nèi)容，這些只是網(wǎng)頁(yè)具體內(nèi)容的表現(xiàn)形式，無論網(wǎng)頁(yè)是否具有動(dòng)態(tài)效果，只要是采用了動(dòng)態(tài)網(wǎng)站技術(shù)生成的網(wǎng)頁(yè)都可以稱為動(dòng)態(tài)網(wǎng)頁(yè)。

現(xiàn)在我們明白了，這是一個(gè)動(dòng)態(tài)網(wǎng)頁(yè)，我們得到它的時(shí)候，歌單還沒請(qǐng)求到呢，當(dāng)然什么都提取不出來！

我們之前的技術(shù)不能執(zhí)行那些讓頁(yè)面產(chǎn)生各種神奇效果的JavaScript 代碼。如果網(wǎng)站的HTML頁(yè)面沒有運(yùn)行JavaScript，就可能和你在瀏覽器里看到的樣子完全不同，因?yàn)闉g覽器可以正確地執(zhí)行JavaScript。用Python 解決這個(gè)問題只有兩種途徑：直接從JavaScript 代碼里采集內(nèi)容，或者用Python 的第三方庫(kù)運(yùn)行JavaScript，直接采集你在瀏覽器里看到的頁(yè)面。我們當(dāng)然選擇后者。今天第一課，不深究原理，先簡(jiǎn)單粗暴的實(shí)現(xiàn)我們的小目標(biāo)。

Selenium：是一個(gè)強(qiáng)大的網(wǎng)絡(luò)數(shù)據(jù)采集工具，其最初是為網(wǎng)站自動(dòng)化測(cè)試而開發(fā)的。近幾年，它還被廣泛用于獲取精確的網(wǎng)站快照，因?yàn)樗鼈兛梢灾苯舆\(yùn)行在瀏覽器上。Selenium 庫(kù)是一個(gè)在WebDriver 上調(diào)用的API。WebDriver 有點(diǎn)兒像可以加載網(wǎng)站的瀏覽器，但是它也可以像BeautifulSoup對(duì)象一樣用來查找頁(yè)面元素，與頁(yè)面上的元素進(jìn)行交互（發(fā)送文本、點(diǎn)擊等），以及執(zhí)行其他動(dòng)作來運(yùn)行網(wǎng)絡(luò)爬蟲。安裝方式與其他Python第三方庫(kù)一樣

安裝: pip3 install Selenium

驗(yàn)證一下:

Selenium 自己不帶瀏覽器，它需要與第三方瀏覽器結(jié)合在一起使用。例如，如果你在Firefox 上運(yùn)行Selenium，可以直接看到一個(gè)Firefox 窗口被打開，進(jìn)入網(wǎng)站，然后執(zhí)行你在代碼中設(shè)置的動(dòng)作。雖然這樣可以看得更清楚，但不適用于我們的爬蟲程序，爬一頁(yè)就打開一頁(yè)效率太低，所以我們用一個(gè)叫PhantomJS的工具代替真實(shí)的瀏覽器。

PhantomJS：是一個(gè)“無頭”（headless）瀏覽器。它會(huì)把網(wǎng)站加載到內(nèi)存并執(zhí)行頁(yè)面上的JavaScript，但是它不會(huì)向用戶展示網(wǎng)頁(yè)的圖形界面。把Selenium和PhantomJS 結(jié)合在一起，就可以運(yùn)行一個(gè)非常強(qiáng)大的網(wǎng)絡(luò)爬蟲了，可以處理cookie、JavaScript、header，以及任何你需要做的事情。

PhantomJS并不是Python的第三方庫(kù)，不能用pip安裝。它是一個(gè)完善的瀏覽器，所以你需要去它的官方網(wǎng)站下載，然后把可執(zhí)行文件拷貝到Python安裝目錄的Scripts文件夾, 或者隨便一個(gè)目錄在ＰＡＴＨ中的目錄

開始干活！

打開歌單的第一頁(yè)： http://music.163.com/#/discov...

用Chrome的“開發(fā)者工具”F12先分析一下，很容易就看穿了一切。

播放數(shù)nb (number broadcast)：29915

封面 msk (mask)：有標(biāo)題和url

同理，可以找到“下一頁(yè)”的url，最后一頁(yè)的url是“javascript:void(0)”。

最后，讓我們用代碼完成工作。

from selenium import webdriver

url = "https://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0"

driver = webdriver.PhantomJS()

driver.get(url)  # 加載頁(yè)面

driver.switch_to.frame("contentFrame")  # 切換到歌單所在的iframe

# 歌單所有項(xiàng)目的包裹元素
data = driver.find_element_by_id("m-pl-container").find_elements_by_tag_name("li")

for d in data:
    nb = d.find_element_by_class_name("nb").text  # 播放數(shù)
    msk = d.find_element_by_css_selector("a.msk")
    print(msk.get_attribute("title"), nb, msk.get_attribute("href"))

結(jié)果

我不想當(dāng)錦鯉，我只想我喜歡的人也喜歡我 10萬(wàn) https://music.163.com/playlis...
威士忌風(fēng)味·野性浪漫醇香度43% 43918 https://music.163.com/playlis...
柔情/迷離?落日余暉下那抹絢爛的幻影 15547 https://music.163.com/playlis...
單身都市麗人生存手冊(cè) 20347 https://music.163.com/playlis... avex
動(dòng)漫歌曲宅急便 Part. 2 7898 https://music.163.com/playlis...
『韓』秋日漸近，唱一曲悲涼 14354 https://music.163.com/playlis...
全球史詩(shī)級(jí)萬(wàn)評(píng)電音!百種風(fēng)格【主打】 172萬(wàn) https://music.163.com/playlis...
2018上半年最熱新歌TOP50 1143萬(wàn) https://music.163.com/playlis...
「高質(zhì)量英文歌」讓你單曲循環(huán)的英文歌 364萬(wàn) https://music.163.com/playlis...
「純音」噓，我的悲傷才剛剛睡著 138萬(wàn) https://music.163.com/playlis...
電影中的鋼琴曲｜最會(huì)講故事3 481萬(wàn) https://music.163.com/playlis...
單循輯｜我想和你共享耳機(jī) 1778萬(wàn) https://music.163.com/playlis...
『歐美』書店書城常用流行鋼琴曲推薦② 197萬(wàn) https://music.163.com/playlis...
我最大的遺憾，是你的遺憾與我有關(guān) 1085萬(wàn) https://music.163.com/playlis...
予你情詩(shī)百首，余生你是我的所有 1726萬(wàn) https://music.163.com/playlis...
海鹽風(fēng)味｜浪漫迷幻°新鮮度100% 545萬(wàn) https://music.163.com/playlis...
最怕rapper說情話 463萬(wàn) https://music.163.com/playlis...
這世界上情歌那么多，卻沒有一首屬于我 1709萬(wàn) https://music.163.com/playlis...
這些歌名連起來，是我暗戀你多年的秘密 1751萬(wàn) https://music.163.com/playlis...
青檸味復(fù)古 ? 凌步夏傍西海岸的空幻 335萬(wàn) https://music.163.com/playlis...
「?jìng)沃斡礡ap」你價(jià)值連城傷口的良藥 125萬(wàn) https://music.163.com/playlis...
失落少年孤獨(dú)心俱樂部 674萬(wàn) https://music.163.com/playlis... 藍(lán)莓味氣泡水°
137萬(wàn) https://music.163.com/playlis... 盤點(diǎn)那些歐美流行歌手的不爛大街好聽歌曲
474萬(wàn) https://music.163.com/playlis... 同桌的你，曾是我期待上課的理由 752萬(wàn)
https://music.163.com/playlis...
正常情況下是這樣的，如果你想要爬所有的數(shù)據(jù)，還需要引入翻頁(yè)機(jī)制（即把url里的頁(yè)碼–offset–替換）

由于selenium在不久的將來會(huì)放棄對(duì)phantomjs的支持， 所以這里也提供一個(gè)替代方案，使用chrome的headless模式。使用這個(gè)模式你需要下載chromedriver, 并把這個(gè)文件所在目錄加到PATH， 也可以拷貝到python路徑下面

from selenium import webdriver

url = "https://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0"

chromeOptions = webdriver.ChromeOptions()
chromeOptions.add_argument("headless")
driver = webdriver.Chrome(chrome_options=chromeOptions)

driver.get(url)  # 加載頁(yè)面

driver.switch_to.frame("contentFrame")  # 切換到歌單所在的iframe

# 歌單所有項(xiàng)目的包裹元素
data = driver.find_element_by_id("m-pl-container").find_elements_by_tag_name("li")

for d in data:
    nb = d.find_element_by_class_name("nb").text  # 播放數(shù)
    msk = d.find_element_by_css_selector("a.msk")
    print(msk.get_attribute("title"), nb, msk.get_attribute("href"))

python教程 django教程 爬蟲教程

最后打個(gè)廣告, 天氣變化快， 大家注意加衣