資訊專(zhuān)欄INFORMATION COLUMN
摘要：經(jīng)常逛豆瓣，請(qǐng)不要害羞等幾個(gè)小組亮瞎了我的雙眼，不能直視，三觀盡毀。豆瓣對(duì)訪問(wèn)次數(shù)有限制，我用了上的代理，獲取這些代理以后需要驗(yàn)證是否是匿名代理，并且驗(yàn)證訪問(wèn)豆瓣的速度，目前濾掉了連接和讀取時(shí)間超過(guò)的代理。
都說(shuō)豆瓣妹紙好，誰(shuí)約誰(shuí)知道。。。
http://dadanshai.com
經(jīng)常逛豆瓣，請(qǐng)不要害羞等幾個(gè)小組亮瞎了我的雙眼，不能直視，三觀盡毀。在內(nèi)心里默默念道以后再也不上這些小組了。..., 可意識(shí)堅(jiān)定敵不過(guò)菇?jīng)霭谆ɑǖ拇笸取Ｈ缓竺刻炀头@些帖子，可翻這些帖子太花時(shí)間了。我只喜歡看菇?jīng)霾幌矚g看評(píng)論神馬的，然后就動(dòng)手把小組里的圖片抓下來(lái)然后以瀑布流的形式展示。獨(dú)樂(lè)樂(lè)，不如眾樂(lè)樂(lè)，但不要叫我雷鋒...
這些菇?jīng)鰰竦某叨葹槭裁催@么大啦？我想原因大概如下：
豆瓣是一個(gè)陌生人社區(qū)，小組里的人基本上在現(xiàn)實(shí)社會(huì)中沒(méi)有交集，所以基本上沒(méi)有心理負(fù)擔(dān)。
這些菇?jīng)鱿胙杆俚淖屗肆私?，認(rèn)可。菇?jīng)龀３?huì)說(shuō)如果評(píng)論超過(guò)500樓，會(huì)上高清、正面的大圖，喜歡的數(shù)目、評(píng)論的數(shù)目、yp豆油的數(shù)目她們都很在意的，這些數(shù)字反應(yīng)了他人對(duì)她外表的認(rèn)可。
還有一部分是偶爾空虛寂寞冷發(fā)圖的。
下面說(shuō)說(shuō)大膽曬的技術(shù)實(shí)現(xiàn)細(xì)節(jié)。
抓取用scrapy，每一個(gè)小時(shí)抓取一次，然后把結(jié)果保存為json文件。豆瓣對(duì)訪問(wèn)次數(shù)有限制，我用了http://www.samair.ru/proxy-by-country/China-01.htm上的代理，獲取這些代理以后需要驗(yàn)證是否是匿名代理，并且驗(yàn)證訪問(wèn)豆瓣的速度，目前濾掉了連接和讀取時(shí)間超過(guò)3s的代理。
定時(shí)腳本然后把數(shù)據(jù)錄入到數(shù)據(jù)庫(kù)中，把圖片存放到beansdb中。
網(wǎng)站用了我最喜歡的flask，django太笨重了有木有，除了可以參考flask的官方文檔外還可以參考http://blog.miguelgrinberg.com/post/the-flask-mega-tutorial-part-i-hello-world， 前端用了bootstrap,masonry。
部署采用nginx+gunicorn, gunicorn作為python-cgi的容器，可以參考http://www.onurguzel.com/how-to-run-flask-applications-with-nginx-using-gunicorn/, 順便吐槽下開(kāi)始準(zhǔn)備用uwsgi，在網(wǎng)上找了半天資料都沒(méi)有搞定然后轉(zhuǎn)投gunicorn了..
后臺(tái)的人工審核，定時(shí)會(huì)把漏點(diǎn)或低質(zhì)的圖片刪掉。
網(wǎng)址是http://dadanshai.com
我的豆瓣是http://www.douban.com/people/yytv5/, 羞澀了，掩面。。。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/39058.html
小編寫(xiě)這篇文章的主要目的，主要是來(lái)給大家做出一個(gè)比較詳細(xì)解答，主要是給大家解答關(guān)于python中的一些知識(shí)，比如Flask實(shí)現(xiàn)接手與上傳圖片，下面就給大家詳細(xì)解答下?！ 〗酉聛?lái)給搭建講解Flask如何接受圖片文件，上面是復(fù)雜寫(xiě)法，下面是簡(jiǎn)單寫(xiě)法，二選一即可。 思路整理：接收?qǐng)D片->定義一個(gè)圖片存放的位置->給圖片重命名（為了唯一性）->保存操作-&...
摘要：混雜著工作室圖片網(wǎng)任務(wù)截至今天終于完成了暑假另一個(gè)任務(wù)把考核任務(wù)按照狗書(shū)再寫(xiě)一遍受益匪淺，路途荊棘叢生。。。。 混雜著工作室圖片網(wǎng)任務(wù),截至今天終于完成了暑假另一個(gè)任務(wù)把考核任務(wù)按照狗書(shū)再寫(xiě)一遍受益匪淺，路途荊棘叢生。。。。這里主要記錄了增加的功能，更多的可以看源代碼代碼在線預(yù)覽 上傳頭像404 Flask上傳文件我實(shí)現(xiàn)的主要思路就是,上傳文件到服務(wù)器,然后讀取文件當(dāng)然你可以用二進(jìn)制...
原文地址: http://52sox.com/write-a-flask-plugin-for-ueditor/ 近期項(xiàng)目開(kāi)發(fā)中,隔壁那個(gè)搞python的哥們竟然笑著對(duì)我說(shuō),希望我能給他寫(xiě)1個(gè)百度編輯器的demo,方便他直接調(diào)用。 當(dāng)時(shí)真的受寵若驚,這哥們實(shí)力不在我之下,只能答應(yīng)它了。上網(wǎng)搜索下,有1篇文章Flask項(xiàng)目集成富文本編輯器UEditor實(shí)現(xiàn)圖片上傳功能已經(jīng)有1個(gè)現(xiàn)成的例子了。 這...
原文地址: http://52sox.com/write-a-flask-plugin-for-ueditor/ 近期項(xiàng)目開(kāi)發(fā)中,隔壁那個(gè)搞python的哥們竟然笑著對(duì)我說(shuō),希望我能給他寫(xiě)1個(gè)百度編輯器的demo,方便他直接調(diào)用。 當(dāng)時(shí)真的受寵若驚,這哥們實(shí)力不在我之下,只能答應(yīng)它了。上網(wǎng)搜索下,有1篇文章Flask項(xiàng)目集成富文本編輯器UEditor實(shí)現(xiàn)圖片上傳功能已經(jīng)有1個(gè)現(xiàn)成的例子了。 這...
摘要：詳見(jiàn)注冊(cè)微信公眾號(hào)這個(gè)很簡(jiǎn)單，而且網(wǎng)上一搜很多，我在這里就不說(shuō)了。關(guān)于服務(wù)的創(chuàng)建，具體參見(jiàn)使用指南五通過(guò)認(rèn)證公眾微信號(hào)在微信公眾號(hào)頁(yè)面打開(kāi)開(kāi)發(fā)者頁(yè)面，進(jìn)行服務(wù)器配置。 本文章主要是寫(xiě)一下這個(gè)項(xiàng)目開(kāi)發(fā)的過(guò)程及之間遇到的問(wèn)題，作為記錄，也希望以此為契機(jī)認(rèn)識(shí)志同道合的朋友，一起學(xué)習(xí)交流。 目錄： 概述 環(huán)境準(zhǔn)備及相關(guān)賬號(hào)申請(qǐng) 部署Python Flask應(yīng)用到Bluemix 通過(guò)Bluem...
閱讀 2454·2019-08-30 15:52
閱讀 2252·2019-08-30 12:51
閱讀 2846·2019-08-29 18:41
閱讀 2829·2019-08-29 17:04
閱讀 826·2019-08-29 15:11
閱讀 1744·2019-08-28 18:02
閱讀 3614·2019-08-26 10:22
閱讀 2519·2019-08-26 10:12
