摘要:完成可視化熱搜榜和國(guó)內(nèi)疫情新增圖,提高學(xué)生的編程能力和分析問(wèn)題解決問(wèn)題的能力。下圖為百度微博知乎三大平臺(tái)的熱搜詞頻統(tǒng)計(jì)圖。后續(xù)我會(huì)補(bǔ)上薄弱項(xiàng),為爭(zhēng)取做一名全棧技術(shù)人員而奮斗。
通過(guò)該實(shí)驗(yàn)把Python語(yǔ)言中基本知識(shí)和第三方庫(kù)得到綜合應(yīng)用。完成可視化熱搜榜和國(guó)內(nèi)疫情新增圖,提高學(xué)生的編程能力和分析問(wèn)題、解決問(wèn)題的能力。
硬件:多媒體計(jì)算機(jī) 軟件:Windows7或Windows10 操作系統(tǒng)、Python3.X 軟件。
1、 實(shí)驗(yàn)內(nèi)容
① 使用python web框架flask搭建web項(xiàng)目
② 使用爬蟲(chóng)技術(shù)完成信息獲取
③ 使用python基礎(chǔ)知識(shí)庫(kù)完成數(shù)據(jù)轉(zhuǎn)換并做數(shù)據(jù)分析
④ 使用jieba庫(kù)對(duì)熱搜做詞頻分析
⑤ 使用jQuery框架和HTML、css、JavaScript和echarts完成前端頁(yè)面設(shè)計(jì)
2、最后結(jié)果輸出。要求:輸出格式要界面直觀、清晰大方、格式規(guī)范。
#構(gòu)建首頁(yè)頁(yè)面路由路徑,并加載index.html頁(yè)面和傳送數(shù)據(jù)@app.route("/Hot_Bot")def Hot_Bot(): data=hotBot() return render_template("index.html",form=data,title=data.title)#構(gòu)建詞頻頁(yè)面和路由路徑,并加載test.html頁(yè)面和傳送數(shù)據(jù)@app.route("/cipin")def cipin(): data=spider.sum_hot_word() print(data) return render_template("test.html",form=data)
爬蟲(chóng)階段以微博和知乎為例:def weibo(): hot=[] name=[] value=[] url="https://weibo.com/ajax/statuses/hot_band" header={ "cookie": "UOR=mp.weixin.qq.com,s.weibo.com,mp.weixin.qq.com; SINAGLOBAL=753710676249.8569.1621750150925; SUB=_2AkMXpEktf8NxqwJRmP4Tz2zkZYh3wwHEieKh-Lj2JRMxHRl-yT9jqhAztRB6PCRnwgM0JsVYPTwi5DuGI3N0YpgPChkI; SUBP=0033WrSXqPxfM72-Ws9jqgMF55529P9D9WhpfXwV9S99niOF07XLn8y7; WBPSESS=kErNolfXeoisUDB3d9TFH-1YhWD5pAkKF4olmR2WdEz_79spnMzQbf2Kt92964Tdvd3fcKY1c8a_Sd6CbCiw6P0wyFuEu1GQri6NrQ6_oBLuAYd8HR3zZI8_M6QfSsHD; ULV=1635245354703:3:1:1:6287771993091.978.1635245354698:1626916415441; XSRF-TOKEN=_LdujowesXEM4itQidVLNlJj", "accept - encoding": "gzip, deflate, br", "user - agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36", "referer": "https://www.baidu.com/link?url=oBKJ9ZCKdgcrDL-WKTnXNgHhk2kNw6JfV0tShTgwv3KYkUracwd2FG6kuIrShm5b2aJDHZKZVgYG8QgZWSM-Ha&wd=&eqid=f74c877700049c31000000066177abe3" } req = requests.get(url,headers=header).text soup = BeautifulSoup(req, "lxml") #hot_word = re.findall("word.*?,",req) hot_word=json.loads(req)["data"]["band_list"] for i in range(len(hot_word)): hot.append({"name":hot_word[i]["word"][0:10],"value":hot_word[i]["num"]}) name.append(hot_word[i]["word"]) value.append(hot_word[i]["num"]) return hot[0:3],name,value
def zhihu(): hot = [] browser=webdriver.Chrome("chromedriver.exe") browser.get("https://www.zhihu.com/topsearch") browser.refresh() elements=browser.find_elements_by_class_name("TopSearchMain-title") for i in elements: hot.append(i.text) return hot
以詞頻分析為例展示部分前端頁(yè)面代碼:<div id="main" style="width: 600px;height: 800px;"></div><script> var ectest = echarts.init(document.getElementById("main")); var ec_right2_option = { // backgroundColor: "#515151", title: { text: "今日疫情熱搜", textStyle: { color: "white", }, left: "left" }, tooltip: { show: false }, series: [{ type: "wordCloud", // drawOutOfBound:true, gridSize: 1, sizeRange: [12, 55], rotationRange: [-45, 0, 45, 90], // maskImage: maskImage, textStyle: { normal: { color: function () { return "rgb(" + Math.round(Math.random() * 255) + ", " + Math.round(Math.random() * 255) + ", " + Math.round(Math.random() * 255) + ")" } } }, right: null, bottom: null, data: ffffd }] } ectest.setOption(ec_right2_option);</script>
下面展示主頁(yè)面:
中間是國(guó)內(nèi)疫情新增圖并動(dòng)態(tài)顯示人數(shù),左上為百度熱搜榜top3、左下為微博熱搜榜top3、中上為當(dāng)天天氣情況、右上為微博和百度熱搜熱度對(duì)比。右下為三大平臺(tái)的熱搜地址和詞頻統(tǒng)計(jì)。
下圖為百度、微博、知乎三大平臺(tái)的熱搜詞頻統(tǒng)計(jì)圖。
通過(guò)本次課程設(shè)計(jì)我又溫習(xí)了一次python的一些基礎(chǔ)知識(shí)而且對(duì)前端技術(shù)有了進(jìn)一步的了解使我更加清晰了以后的方向。而且也認(rèn)識(shí)到在構(gòu)建項(xiàng)目的時(shí)候?qū)φw架構(gòu)的重要性,最重要的是更深的認(rèn)識(shí)到python技術(shù)對(duì)于構(gòu)建網(wǎng)站的優(yōu)缺點(diǎn)和python語(yǔ)言的實(shí)用性。對(duì)以后的發(fā)展起到了良好的引導(dǎo)作用。同時(shí)也認(rèn)識(shí)到了自己的薄弱項(xiàng),比如在前端頁(yè)面設(shè)計(jì)的時(shí)候?qū)Query和JavaScript技術(shù)的應(yīng)用很不熟練還有對(duì)echarts的圖表選擇也比較簡(jiǎn)單,在選取疫情城市坐標(biāo)標(biāo)記的時(shí)候?qū)ymbolSize
的設(shè)定也沒(méi)有把控好直接導(dǎo)致了最終產(chǎn)品沒(méi)有達(dá)到預(yù)期效果,而且對(duì)python的基礎(chǔ)知識(shí)掌握也不是特別的牢固對(duì)于jieba庫(kù)的使用還有待提高。后續(xù)我會(huì)補(bǔ)上薄弱項(xiàng),為爭(zhēng)取做一名全棧技術(shù)人員而奮斗。
這里有python,Java學(xué)習(xí)資料還有有有趣好玩的編程項(xiàng)目,更有難尋的各種資源。反正看看也不虧。 回復(fù)可視化熱搜榜和疫情新增圖
特別介紹
?小白練手專欄,適合剛?cè)胧值男氯藲g迎訂閱編程小白進(jìn)階
?python有趣練手項(xiàng)目里面包括了像《機(jī)器人尬聊》《惡搞程序》這樣的有趣文章,可以讓你快樂(lè)學(xué)python練手項(xiàng)目專欄
?另外想學(xué)JavaWeb進(jìn)廠的同學(xué)可以看看這個(gè)專欄:傳送們
?這是個(gè)面試和考研的算法練習(xí)我們一起加油上岸之路
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/123084.html
摘要:安全態(tài)勢(shì)可視化系統(tǒng)的目的是生成網(wǎng)絡(luò)安全綜合態(tài)勢(shì)圖,以多視圖多角度多尺度的方式與用戶進(jìn)行交互。可以看到,黑客攻擊是無(wú)處不在,無(wú)時(shí)不有的,世界互聯(lián)網(wǎng)的安全態(tài)勢(shì)并不如我們印象中那么隱蔽和少見(jiàn)。 導(dǎo)語(yǔ) 網(wǎng)絡(luò)態(tài)勢(shì)可視化技術(shù)作為一項(xiàng)新技術(shù),是網(wǎng)絡(luò)安全態(tài)勢(shì)感知與可視化技術(shù)的結(jié)合,將網(wǎng)絡(luò)中蘊(yùn)涵的態(tài)勢(shì)狀況通過(guò)可視化圖形方式展示給用戶,并借助于人在圖形圖像方面強(qiáng)大的處理能力,實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)異常行為的分析和檢測(cè)...
摘要:基于此,我爬取了淘寶上多條月餅的銷售數(shù)據(jù),為大家展示了一幅漂亮的可視化大屏,解決大家心目中的問(wèn)題。模塊的安裝與配置這次爬取淘寶,采用的是最簡(jiǎn)單的方式控制瀏覽器進(jìn)行自動(dòng)化操作,中途只需要掃碼登陸一次,即可完成整個(gè)數(shù)據(jù)的爬取。 ...
摘要:明確了客服調(diào)度的核心問(wèn)題,也知道了難點(diǎn),更看到了目前的現(xiàn)狀后,我們決定打造一款自動(dòng)智能的客服調(diào)度系統(tǒng)。對(duì)于社會(huì)化的云客服,我們可以做到,比如排隊(duì)數(shù)超過(guò)某值時(shí),自動(dòng)觸發(fā)云客服的應(yīng)急放班。 背景 為什么客服需要調(diào)度?阿里集團(tuán)客戶體驗(yàn)事業(yè)群(CCO)目前承接了阿里集團(tuán)以及生態(tài)體的客戶服務(wù)業(yè)務(wù),我們的客戶通過(guò)各個(gè)渠道來(lái)尋求解決各類問(wèn)題,每天的進(jìn)線量巨大,而且經(jīng)常伴隨著突發(fā)性進(jìn)線,比如天貓代金券...
摘要:今天,我們邀請(qǐng)阿里高級(jí)技術(shù)專家力君,為大家分享自動(dòng)智能的客服調(diào)度系統(tǒng)。明確了客服調(diào)度的核心問(wèn)題,也知道了難點(diǎn),更看到了目前的現(xiàn)狀后,我們決定打造一款自動(dòng)智能的客服調(diào)度系統(tǒng)。 小嘰導(dǎo)讀:提到調(diào)度,大家腦海中可能想起的是調(diào)度阿里云的海量機(jī)器資源,而對(duì)于阿里集團(tuán)客戶體驗(yàn)事業(yè)群(CCO)而言,我們要調(diào)度的不是機(jī)器,而是客服資源。今天,我們邀請(qǐng)阿里高級(jí)技術(shù)專家力君,為大家分享自動(dòng)、智能的客服調(diào)度...
閱讀 3433·2021-11-12 10:36
閱讀 2753·2021-11-11 16:55
閱讀 2974·2021-09-27 13:36
閱讀 1624·2021-08-05 10:01
閱讀 3565·2019-08-30 15:55
閱讀 780·2019-08-30 13:01
閱讀 1916·2019-08-29 17:16
閱讀 2386·2019-08-29 16:40