如何挖掘大數(shù)據(jù)SEARCH AGGREGATION
回答:這個問題思考了很久，作為過來人談一談，建議在看我這篇回答之前先去了解一下數(shù)據(jù)挖掘的概念和定義。在學習數(shù)據(jù)挖掘之前你應(yīng)該明白幾點：數(shù)據(jù)挖掘目前在中國的尚未流行開，猶如屠龍之技。數(shù)據(jù)初期的準備通常占整個數(shù)據(jù)挖掘項目工作量的70%左右。 數(shù)據(jù)挖掘本身融合了統(tǒng)計學、數(shù)據(jù)庫和機器學習等學科，并不是新的技術(shù)。數(shù)據(jù)挖掘技術(shù)更適合業(yè)務(wù)人員學習（相比技術(shù)人員學習業(yè)務(wù)來的更高效）數(shù)據(jù)挖掘適用于傳統(tǒng)的BI（報表、OLA...
LoftySoul
|
1154人閱讀
回答:其實根本就沒有什么數(shù)據(jù)分析師，或者說，人人都是數(shù)據(jù)分析師。懂我這個意思嗎？我的文章里，也寫過很多數(shù)據(jù)行業(yè)的知識，你可以去看看，其實有時候想想，你就不一定非得從事這樣的行業(yè)了。就拿數(shù)據(jù)挖掘來說吧，據(jù)我所知，廠商今年都混的不怎么樣，為什么？客戶需求很少，而且都是定制化的，整個項目的周期很長。還有就是一個企業(yè)里，互聯(lián)網(wǎng)公司可能還好一點，數(shù)據(jù)分析師根本不需要那么多，你看看ucloud的數(shù)據(jù)分析報錄比，20...
bingchen
|
957人閱讀
回答:目前階段大數(shù)據(jù)技術(shù)及體系已經(jīng)逐漸趨于成熟，不再是以概念貫穿的模式，大數(shù)據(jù)越來越多的被使用，伴隨互聯(lián)網(wǎng)化的發(fā)展更多的企業(yè)信息化已經(jīng)由IT時代轉(zhuǎn)變?yōu)镈T時代，以數(shù)據(jù)為核心，用數(shù)據(jù)進行決策，基于數(shù)據(jù)驅(qū)動企業(yè)的創(chuàng)新與發(fā)展，相信在將來大數(shù)據(jù)也會有更廣泛的應(yīng)用空間，對于大數(shù)據(jù)的理解主要分為以下幾個層面。1.數(shù)據(jù)來源：對于大數(shù)據(jù)時代而言更多強調(diào)基于業(yè)務(wù)數(shù)據(jù)的沉淀，在一定規(guī)模的數(shù)據(jù)上進行進一步的分析、處理、轉(zhuǎn)換，...
arashicage
|
1272人閱讀
回答:大數(shù)據(jù)是處理海量數(shù)據(jù)的一種技術(shù)，你說的寫SQL只能處理結(jié)構(gòu)化數(shù)據(jù)，更多的是非結(jié)構(gòu)化數(shù)據(jù)（文本數(shù)據(jù)），和半結(jié)構(gòu)化數(shù)據(jù)。并且通過SQL處理的數(shù)據(jù)量一般很少，幾個T就根本不行，大數(shù)據(jù)涉及存儲（存儲級別為PB級別），資源調(diào)度（一般是分布式系統(tǒng)，不是一臺機器），計算框架（hadoop;storm;spark）這三部分，缺一不可，你說的寫SQL只是相當于計算框架（勉強算得上，性能差遠了）。
tracymac7
|
830人閱讀
回答:這是一個非常好的問題，作為一名IT從業(yè)者，同時也在帶大數(shù)據(jù)方向的研究生，所以我來回答一下這個問題。首先，從技術(shù)體系結(jié)構(gòu)上來看，當前的大數(shù)據(jù)技術(shù)已經(jīng)趨于成熟了，在數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)和數(shù)據(jù)應(yīng)用等方面，已經(jīng)形成了一整套技術(shù)框架，相關(guān)的技術(shù)生態(tài)也在不斷完善當中。當前大型科技公司也開始逐漸形成自己的大數(shù)據(jù)平臺，不同平臺也都有自身的技術(shù)特點，總的來說，當前在技術(shù)上已經(jīng)為大數(shù)據(jù)的行業(yè)應(yīng)用創(chuàng)新奠定了基礎(chǔ)...
alexnevsky
|
1262人閱讀
...據(jù)取樣的樣本,而在這個過程中多多少少還有帶有個人對如何實現(xiàn)數(shù)據(jù)挖掘目標主觀認識而進行操作的。而當我們拿到了1個樣本時,探索的內(nèi)容包括: 這個樣本的數(shù)據(jù)是否能達到我們原先設(shè)想的要求 數(shù)據(jù)間有沒有什么明顯的規(guī)律...
...營商會帶來哪些挑戰(zhàn)呢？王思偉指出這個挑戰(zhàn)也是來源于如何更好地應(yīng)用大數(shù)據(jù)中發(fā)現(xiàn)的，一是希望將數(shù)據(jù)匯聚形成信息資產(chǎn)，但是海量數(shù)據(jù)成本太高；二是進行數(shù)據(jù)挖掘以豐富資產(chǎn)內(nèi)涵，但是目前數(shù)據(jù)挖掘的手段很匱乏；三是...
...。兩個月前，100offer 曾在《從技術(shù) Leader 的招聘需求看，如何轉(zhuǎn)崗為當前緊缺的大數(shù)據(jù)相關(guān)人才？》一文中探討了，大數(shù)據(jù)領(lǐng)域下「大數(shù)據(jù)平臺/開發(fā)工程師」的機會和選擇。本文聚焦在大數(shù)據(jù)領(lǐng)域人才的第二大分支「算法和數(shù)據(jù)...
...數(shù)據(jù)，存在指標定義相同，但是語義理解存在較大偏差，如何進行指標模型的多口徑計算邏輯統(tǒng)一，避免繁瑣的人工維護和迭代，是本議題主張的部分；通過一處定義數(shù)據(jù)指標，多處交付統(tǒng)一的模型抽象、定義、訓練和交付整體...
...數(shù)據(jù)中心龐大、復雜的運維問題，以及設(shè)備老化問題；但如何采納云計算仍有沒有成熟做法，是否應(yīng)該公有云+私有云一體，即混合云的方式？2.云計算對大型企業(yè)的挑戰(zhàn)與機會，主要原因是傳統(tǒng)企業(yè)決策者、管理者對于新技...
...萬的品種，也是一種典型的高頻數(shù)據(jù)。 更多案例：請問如何將數(shù)據(jù)挖掘技術(shù)應(yīng)用于互聯(lián)網(wǎng)金融？ 電商網(wǎng)站應(yīng)用案例: 某電商網(wǎng)站使用大數(shù)據(jù)技術(shù)勾勒用戶畫像。用戶畫像提供統(tǒng)一數(shù)據(jù)服務(wù)接口供網(wǎng)站其它產(chǎn)品調(diào)用，提高與用戶...
...資源而提供的。我們已經(jīng)進入了新一輪技術(shù)驅(qū)動的時代那如何理解大數(shù)據(jù)與云計算的關(guān)系？在中國計算機學會大數(shù)據(jù)專家委員會副主任車品覺看來：人工智能、深度學習，這些都是二十年前就有的技術(shù)，但是二十年前沒有大數(shù)據(jù)...
...數(shù)稱之為損失函數(shù)（loss function）。下面的問題就是求：如何優(yōu)化參數(shù)，能夠讓損失函數(shù)的值最小。 此時這個問題就被轉(zhuǎn)化為一個優(yōu)化問題。一個常用方法就是高等數(shù)學中的求導，但是這里的問題由于參數(shù)不止一個，求導后...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
大模型的訓練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時根據(jù)訓練、推理能力由高到低做了...
孫吉亮
