海量數(shù)據(jù)去重精品文章

• 

  用Python寫了個(gè)檢測(cè)文章抄襲，詳談去重算法原理

  ...搜索引擎非常關(guān)心的一個(gè)問(wèn)題。搜索引擎中抓取的網(wǎng)頁(yè)是海量的，海量文本的去重算法也出現(xiàn)了很多，比如minihash, simhash等等。 在工程實(shí)踐中，對(duì)simhash使用了很長(zhǎng)一段時(shí)間，有些缺點(diǎn)，一是算法比較復(fù)雜、效率較差；二是準(zhǔn)確...

  blair 2019-07-31 10:32 評(píng)論0 收藏0
• 

  自研實(shí)時(shí)計(jì)算模塊介紹及運(yùn)維數(shù)據(jù)應(yīng)用場(chǎng)景實(shí)施

  ...指標(biāo)數(shù)量是與枚舉值的數(shù)量一樣多的，也就是可能會(huì)產(chǎn)生海量指標(biāo)數(shù)據(jù)，對(duì)實(shí)時(shí)計(jì)算和下游的傳輸、最后的存儲(chǔ)都帶來(lái)巨大壓力。所以在使用時(shí)需要特別慎重考慮，提前規(guī)劃。舉個(gè)例子，統(tǒng)計(jì)一個(gè)應(yīng)用集群中的服務(wù)調(diào)用的分別占...

  不知名網(wǎng)友 2023-01-11 11:02 評(píng)論0 收藏2564
• 

  scrapy-redis分布式爬蟲(chóng)框架詳解

  ...的重要載體之一。 相比較而言，編寫爬蟲(chóng)程序獲取到的海量數(shù)據(jù)更為真實(shí)、全面，在信息繁榮的互聯(lián)網(wǎng)時(shí)代更為行之有效。因此編寫爬蟲(chóng)程序成為大數(shù)據(jù)時(shí)代信息收集的必備技能。 本文主要介紹爬蟲(chóng)收集數(shù)據(jù)優(yōu)點(diǎn)、爬蟲(chóng)原理、s...

  myeveryheart 2019-07-30 16:09 評(píng)論0 收藏0
• 

  探索Greenplum的實(shí)踐，了解新一代大數(shù)據(jù)處理利器

  前言：近年來(lái)，互聯(lián)網(wǎng)的快速發(fā)展積累了海量大數(shù)據(jù)，而在這些大數(shù)據(jù)的處理上，不同技術(shù)棧所具備的性能也有所不同，如何快速有效地處理這些龐大的數(shù)據(jù)倉(cāng)，成為很多運(yùn)營(yíng)者為之苦惱的問(wèn)題！隨著Greenplum的異軍突起，以...

  supernavy 2019-08-23 12:03 評(píng)論0 收藏0
• 

  TOP100summit：【分享實(shí)錄-封宇】58到家多端消息整合之路

  ...接入層，主要功能包括：● 連接整流：維護(hù)與客戶端的海量TCP長(zhǎng)連接，將外界海量TCP長(zhǎng)連接整流為少量與后端msg-logic的TCP長(zhǎng)連接。● 安全信道：建立安全的TCP信道，加密與解密?！?初步攻防：實(shí)施初步的anti-attack策略，限速策...

  googollee 2019-06-24 17:53 評(píng)論0 收藏0
• 

  一名【合格】前端工程師的自檢清單

  ...器EventLoop的差異 7.如何在保證頁(yè)面運(yùn)行流暢的情況下處理海量數(shù)據(jù) 語(yǔ)法和API 1.理解ECMAScript和JavaScript的關(guān)系 2.熟練運(yùn)用es5、es6提供的語(yǔ)法規(guī)范， 3.熟練掌握J(rèn)avaScript提供的全局對(duì)象（例如Date、Math）、全局函數(shù)（例如decodeURI、isNa...

  羅志環(huán) 2019-08-23 17:08 評(píng)論0 收藏0
• 

  一名【合格】前端工程師的自檢清單

  ...EventLoop的差異 7.如何在保證頁(yè)面運(yùn)行流暢的情況下處理海量數(shù)據(jù) 語(yǔ)法和API 1.理解ECMAScript和JavaScript的關(guān)系 2.熟練運(yùn)用es5、es6提供的語(yǔ)法規(guī)范， 3.熟練掌握J(rèn)avaScript提供的全局對(duì)象（例如Date、Math）、全局函數(shù)（例如decodeURI...

  isaced 2019-05-21 19:50 評(píng)論0 收藏0
• 

  達(dá)摩院首席數(shù)據(jù)庫(kù)科學(xué)家李飛飛：云原生新戰(zhàn)場(chǎng)，我們?nèi)绾伟盐障葯C(jī)？

  ...了100%的 CAP。 云原生數(shù)據(jù)庫(kù) POLARDB：極致彈性+兼容性 為海量數(shù)據(jù)和海量并發(fā)而生 前面介紹了數(shù)據(jù)庫(kù)市場(chǎng)背景和云原生數(shù)據(jù)庫(kù)的基本要素，接下來(lái)我將結(jié)合阿里云 POLARDB 以及 AnalyticDB 兩款數(shù)據(jù)庫(kù)系統(tǒng)，分享以上技術(shù)的具體落地情...

  frolc 2019-06-25 19:19 評(píng)論0 收藏0