FE.B-在線學(xué)習(xí)網(wǎng)站 “麥**院” 課程爬蟲(chóng)實(shí)現(xiàn)

Xufc 發(fā)布于2019-06-27 15:22 / 2796人閱讀

摘要：個(gè)人理解，對(duì)于一個(gè)按課程付費(fèi)為主要收入的在線學(xué)習(xí)網(wǎng)站，課程就是變現(xiàn)的全部家當(dāng)，如果安全措施做得不到位，那前期收集視頻教程的錢(qián)算是打水漂了。

本文描述方法由于2016年年初官方網(wǎng)站升級(jí)，固不可重現(xiàn)。

背景

最近興起的互聯(lián)網(wǎng)+教育，導(dǎo)致了很多在線學(xué)習(xí)網(wǎng)站的誕生，但是由于很多開(kāi)發(fā)者圖方便，網(wǎng)站安全措施做的不規(guī)范，導(dǎo)致很多課程資源不夠安全。個(gè)人理解，對(duì)于一個(gè)按課程付費(fèi)為主要收入的在線學(xué)習(xí)網(wǎng)站，課程就是變現(xiàn)的全部家當(dāng)，如果安全措施做得不到位，那前期收集視頻教程的錢(qián)算是打水漂了。

一次偶然發(fā)現(xiàn)

搜視頻教程的時(shí)候偶然發(fā)現(xiàn)一個(gè)叫“麥。。院”的it在線教育平臺(tái)。該平臺(tái)權(quán)限提升與否與可看視頻沒(méi)有關(guān)聯(lián)，導(dǎo)致從html里可以通過(guò)mp4下載，而繞過(guò)前端js判斷的用戶權(quán)限。不過(guò)值得表?yè)P(yáng)的是用js控制html5視頻加速播放。

▼前端靜態(tài)頁(yè)面

所以，可以通過(guò)一些簡(jiǎn)單的網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行抓取該課程網(wǎng)站的所有教程。

這個(gè)網(wǎng)絡(luò)把錢(qián)分成四步：

▼第一步，獲取課程的分類(lèi)

▼第二步，獲取課程的章節(jié)

▼第三步，獲取課程的視頻鏈接（保險(xiǎn)起見(jiàn)先迅雷download下來(lái)）

▼第四步，從鏈接中獲取mp4后綴以及對(duì)應(yīng)的文件名

▼第五步，迅雷帶你飛（最多支持1000條任務(wù)，還得分批。。。）

總結(jié)

沒(méi)有多線程和智能化爬蟲(chóng)沒(méi)什么技術(shù)含量，無(wú)非是http，正則的組合。不過(guò)有了這些視頻教程，感覺(jué)又能提升一個(gè)學(xué)術(shù)檔次。

GPU云服務(wù)器云服務(wù)器在線爬蟲(chóng)網(wǎng)站爬蟲(chóng)課程 scrapy爬蟲(chóng)課程 php實(shí)現(xiàn)課程表

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/22314.html

相關(guān)文章

一步步爬取Coursera課程資源

摘要：至此登錄功能初步實(shí)現(xiàn)。為了方便我們快速定位到每節(jié)課的所有資源，可以把一節(jié)課的所有資源文件均命名為課名文件類(lèi)型?？梢钥匆幌乱粋€(gè)測(cè)試?yán)又械奈募?，部分?nèi)容如下到這里為止，我們已經(jīng)成功完成爬取課程資源的目標(biāo)，具體的代碼放在上。原文地址有時(shí)候我們需要把一些經(jīng)典的東西收藏起來(lái)，時(shí)時(shí)回味，而Coursera上的一些課程無(wú)疑就是經(jīng)典之作。Coursera中的大部分完結(jié)課程都提供了完整的配套教學(xué)資...

Simon_Zhou 2019-07-24 17:41 評(píng)論0 收藏0
Python爬蟲(chóng)學(xué)習(xí)路線

摘要：以下這些項(xiàng)目，你拿來(lái)學(xué)習(xí)學(xué)習(xí)練練手。當(dāng)你每個(gè)步驟都能做到很優(yōu)秀的時(shí)候，你應(yīng)該考慮如何組合這四個(gè)步驟，使你的爬蟲(chóng)達(dá)到效率最高，也就是所謂的爬蟲(chóng)策略問(wèn)題，爬蟲(chóng)策略學(xué)習(xí)不是一朝一夕的事情，建議多看看一些比較優(yōu)秀的爬蟲(chóng)的設(shè)計(jì)方案，比如說(shuō)。（一）如何學(xué)習(xí)Python 學(xué)習(xí)Python大致可以分為以下幾個(gè)階段： 1.剛上手的時(shí)候肯定是先過(guò)一遍Python最基本的知識(shí)，比如說(shuō)：變量、數(shù)據(jù)結(jié)構(gòu)、語(yǔ)法...

liaoyg8023 2019-07-31 10:27 評(píng)論0 收藏0
Python從入門(mén)到轉(zhuǎn)行

摘要：學(xué)了大半年之后成功轉(zhuǎn)行做前端了。包含大量其他神經(jīng)網(wǎng)絡(luò)庫(kù)中的包裝器和抽象，其中最值得注意的是，其中也包含一些機(jī)器學(xué)習(xí)的實(shí)用模塊。它是輕量級(jí)可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)工具包，同時(shí)擁有友好的界面，可供機(jī)器學(xué)習(xí)的訓(xùn)練和預(yù)測(cè)使用。題記：大二的時(shí)候發(fā)現(xiàn)人生苦短，所以信了拍神，開(kāi)始學(xué)Python。學(xué)了大半年之后成功轉(zhuǎn)行做前端了。來(lái)寫(xiě)個(gè)教程幫助大家入門(mén)Python。 Python零基礎(chǔ)入門(mén) 零基礎(chǔ)入門(mén)就得從最...

ingood 2019-07-30 15:31 評(píng)論0 收藏0
Python3 實(shí)現(xiàn)淘女郎照片爬蟲(chóng)

摘要：項(xiàng)目簡(jiǎn)介本實(shí)驗(yàn)通過(guò)使用實(shí)現(xiàn)一個(gè)淘寶女郎圖片收集爬蟲(chóng)，學(xué)習(xí)并實(shí)踐及正則表達(dá)式等知識(shí)。本教程由阿發(fā)布在實(shí)驗(yàn)樓，完整教程及在線練習(xí)地址實(shí)現(xiàn)淘女郎照片爬蟲(chóng)，可以直接在教程中下載代碼使用。 showImg(https://segmentfault.com/img/bVBgrF); 項(xiàng)目簡(jiǎn)介：本實(shí)驗(yàn)通過(guò)使用 Python 實(shí)現(xiàn)一個(gè)淘寶女郎圖片收集爬蟲(chóng)，學(xué)習(xí)并實(shí)踐 BeautifulSoup、Sel...

jindong 2019-07-25 10:42 評(píng)論0 收藏0
讓敲過(guò)的每行代碼產(chǎn)生價(jià)值

摘要：采用快速掌握核心知識(shí)解決實(shí)際問(wèn)題中補(bǔ)充的方式。讓每一行代碼都能給自己帶來(lái)價(jià)值，才是每個(gè)碼農(nóng)應(yīng)該有的思維，而不是成為一個(gè)職業(yè)碼農(nóng)。不過(guò)做個(gè)人博客有一個(gè)重要的價(jià)值便是在你做成之后可以部署上線讓它成為自己在互聯(lián)網(wǎng)的基地。勤學(xué)似春起之苗，不見(jiàn)其增，而日有所長(zhǎng) 如果你一直想學(xué)python，但是不知道從何入手，那么就不要猶豫了。這篇文章就是我的python新實(shí)戰(zhàn)計(jì)劃可能適合你。學(xué)習(xí) Pytho...

OnlyMyRailgun 2019-07-31 10:05 評(píng)論0 收藏0