資訊專欄INFORMATION COLUMN
摘要：并且，這個(gè)程序是多線程下載的，所以下載速度應(yīng)該會(huì)比較快，我自己測試的速度，大約是秒左右下載個(gè)圖片，當(dāng)然這也與你的網(wǎng)速和圖片大小有關(guān)。
很多時(shí)候，我們的網(wǎng)站上傳圖片時(shí)并沒有根據(jù)內(nèi)容進(jìn)行文件夾分類，甚至?xí)苯哟鎯?chǔ)到阿里云的OSS或是七牛云等云存儲(chǔ)上。這樣，當(dāng)我們需要打包圖片時(shí)，就需要從數(shù)據(jù)庫找尋分類圖片，通過CURL進(jìn)行下載。我最近剛剛完成了一個(gè)這樣的任務(wù)，覺得會(huì)比較常用，就把程序放到了github上分享給大家，希望大家能夠喜歡。
download_images_by_csv
這個(gè)程序只有一個(gè)文件，對環(huán)境沒有太大苛求，windows和linux都能用，是不是線程安全無所謂，也沒有什么特別的擴(kuò)展需要安裝。
使用的步驟是這樣的：
首先，把你數(shù)據(jù)庫的圖片字段導(dǎo)出成csv文件
然后，命令窗口執(zhí)行代碼：
php run.php -f yourcsv.csv
如果你的字段里沒有網(wǎng)址信息，比如http://yoursite.com/images/20... 在字段里只記錄為20180101/14904.jpg，那么應(yīng)該執(zhí)行：
php run.php -f yourcsv.csv -p http://yoursite.com/images
這樣就可以了，你的電腦上會(huì)多一個(gè)文件夾名叫dir_yourcsv.csv，里面會(huì)按字段分文件保存下載的圖片。
并且，這個(gè)程序是多線程下載的，所以下載速度應(yīng)該會(huì)比較快，我自己測試的速度，大約是10秒左右下載100個(gè)圖片，當(dāng)然這也與你的網(wǎng)速和圖片大小有關(guān)。
就這么簡單，沒啥好說的了。有啥需要改的，可以在這篇文章下留言，也可以直接去github上提。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/29244.html
摘要：爬蟲分析首先，我們已經(jīng)爬取到了多的用戶個(gè)人主頁，我通過鏈接拼接獲取到了在這個(gè)頁面中，咱們要找?guī)讉€(gè)核心的關(guān)鍵點(diǎn)，發(fā)現(xiàn)平面拍攝點(diǎn)擊進(jìn)入的是圖片列表頁面。 簡介 上一篇寫的時(shí)間有點(diǎn)長了，接下來繼續(xù)把美空網(wǎng)的爬蟲寫完，這套教程中編寫的爬蟲在實(shí)際的工作中可能并不能給你增加多少有價(jià)值的技術(shù)點(diǎn)，因?yàn)樗皇且惶兹腴T的教程，老鳥你自動(dòng)繞過就可以了，或者帶帶我也行。 爬蟲分析 首先，我們已經(jīng)爬取到了N多的...
摘要：爬蟲分析首先，我們已經(jīng)爬取到了多的用戶個(gè)人主頁，我通過鏈接拼接獲取到了在這個(gè)頁面中，咱們要找?guī)讉€(gè)核心的關(guān)鍵點(diǎn)，發(fā)現(xiàn)平面拍攝點(diǎn)擊進(jìn)入的是圖片列表頁面。 簡介 上一篇寫的時(shí)間有點(diǎn)長了，接下來繼續(xù)把美空網(wǎng)的爬蟲寫完，這套教程中編寫的爬蟲在實(shí)際的工作中可能并不能給你增加多少有價(jià)值的技術(shù)點(diǎn)，因?yàn)樗皇且惶兹腴T的教程，老鳥你自動(dòng)繞過就可以了，或者帶帶我也行。 爬蟲分析 首先，我們已經(jīng)爬取到了N多的...
摘要：爬蟲分析首先，我們已經(jīng)爬取到了多的用戶個(gè)人主頁，我通過鏈接拼接獲取到了在這個(gè)頁面中，咱們要找?guī)讉€(gè)核心的關(guān)鍵點(diǎn)，發(fā)現(xiàn)平面拍攝點(diǎn)擊進(jìn)入的是圖片列表頁面。 簡介 上一篇寫的時(shí)間有點(diǎn)長了，接下來繼續(xù)把美空網(wǎng)的爬蟲寫完，這套教程中編寫的爬蟲在實(shí)際的工作中可能并不能給你增加多少有價(jià)值的技術(shù)點(diǎn)，因?yàn)樗皇且惶兹腴T的教程，老鳥你自動(dòng)繞過就可以了，或者帶帶我也行。 爬蟲分析 首先，我們已經(jīng)爬取到了N多的...
閱讀 1243·2021-09-26 09:46
閱讀 1593·2021-09-06 15:00
閱讀 725·2019-08-30 15:52
閱讀 1126·2019-08-29 13:10
閱讀 1288·2019-08-26 13:47
閱讀 1485·2019-08-26 13:35
閱讀 2034·2019-08-23 18:38
閱讀 733·2019-08-23 17:59
