大數(shù)據(jù)部門架構SEARCH AGGREGATION
回答:這個太范化了吧。大數(shù)據(jù)架構選擇的方案就有很多，海量數(shù)據(jù)的即席查詢本省就是業(yè)內目前的痛點，暫時沒有太好的解決方案，kylin等框架也只是一個折中方案，如果你不是要求海量數(shù)據(jù)分析的秒級響應的話sparkSql、presto等都是不錯的方案，分鐘級別可以返回。
Paul_King
|
694人閱讀
回答:現(xiàn)在有幸參與傳統(tǒng)銀行數(shù)字化轉型，負責技術架構部分的轉型設計。高性能的數(shù)據(jù)架構（High Performance Data Architecture），正是我們架構轉型的重點。隨著科技的蓬勃發(fā)展、社交網絡的廣泛使用、線上消費的普及、數(shù)據(jù)挖掘的技術提升等大趨勢，全球銀行業(yè)正迎來一場聲勢浩大的數(shù)字化創(chuàng)新浪潮。數(shù)字化為消費者的生活及行為模式帶來翻天覆地的變化，也孵化出一批新型的金融科技(Fintech)競...
Lowky
|
548人閱讀
回答:以mysql為列：1：支撐高并發(fā)系統(tǒng)，一定會涉及事務，所以數(shù)據(jù)庫引擎必選innodb，innodb支持事務，事務級別根據(jù)業(yè)務而定，如果業(yè)務數(shù)據(jù)一致性要求很高，事務就開啟序列化級別，這樣就完全隔離事務，但是會導致鎖資源競爭加劇。mysql的性能有一定的降低。2：讀寫分離，數(shù)據(jù)庫分成主庫和從庫，主庫負責寫數(shù)據(jù)，叢庫負責讀數(shù)據(jù)。注意主從數(shù)據(jù)庫數(shù)據(jù)一致性問題。3：冷熱數(shù)據(jù)分離，美團，餓了么部分設計采用冷熱...
Vultr
|
1284人閱讀
回答:目前階段大數(shù)據(jù)技術及體系已經逐漸趨于成熟，不再是以概念貫穿的模式，大數(shù)據(jù)越來越多的被使用，伴隨互聯(lián)網化的發(fā)展更多的企業(yè)信息化已經由IT時代轉變?yōu)镈T時代，以數(shù)據(jù)為核心，用數(shù)據(jù)進行決策，基于數(shù)據(jù)驅動企業(yè)的創(chuàng)新與發(fā)展，相信在將來大數(shù)據(jù)也會有更廣泛的應用空間，對于大數(shù)據(jù)的理解主要分為以下幾個層面。1.數(shù)據(jù)來源：對于大數(shù)據(jù)時代而言更多強調基于業(yè)務數(shù)據(jù)的沉淀，在一定規(guī)模的數(shù)據(jù)上進行進一步的分析、處理、轉換，...
arashicage
|
1251人閱讀
...系統(tǒng)，以及很多太短的通用平臺與系統(tǒng)，主要關注架構、數(shù)據(jù)庫、O2O等方面的技術。 壹佰案例： 作為同時負責過58同城和58到家業(yè)務的架構師，可否從架構方向談下兩項業(yè)務的技術難點有何不同？ 沈劍：58同城是一個信息平臺...
越來越多的公司言并稱大數(shù)據(jù)，而大數(shù)據(jù)管道和存儲集群的規(guī)模甚至可以是業(yè)務集群的一百倍的規(guī)模。這里有多少機器是真正在做有價值的事情，而有多少cpu cycle是白白被浪費掉了呢？data pipeline 中充斥著驚人的浪費！只是我...
...臺的技術公司，服務器仍然保持著100%的本地化。它有5個數(shù)據(jù)中心，擁有45，000臺服務器，以及一個圍繞著維護傳統(tǒng)技術所需的遺留技能組織起來的一個IT團隊。 我們需要大量資源來保持實體基礎設施的與時俱進，但在這個...
... 質量對于運維來說的是提供反饋。及時提供指標，提供數(shù)據(jù)給研發(fā)側，告訴真實的用戶體驗。提供數(shù)據(jù)報表給產品側，用戶的實際使用情況。這種反饋的數(shù)據(jù)可以指導模塊的性能優(yōu)化，長期的架構調整，業(yè)務的模式轉型。但是...
...頁、樣式，效率能高嗎？讓后端人員去搶DBA的飯碗，去做數(shù)據(jù)庫優(yōu)化，效率能高嗎？ 不專業(yè)的人做不專業(yè)的事情，可能和公司的發(fā)展歷程、組織架構、人員規(guī)劃有關；也可能和任務安排有關。 公司發(fā)展初期，養(yǎng)不起很多專業(yè)的...
...用了新興的產品，像通過軟件即服務（SaaS）交付的大數(shù)據(jù)分析功能?！ ∷麄兡軌驅⒎浅碗s的信息簡化成視圖，放到一個頁面上，任何人都可以查看，舊金山桌面即服務提供商Centered Networks的高級工程師Nathan Smith如是...
... 如圖所示，企業(yè)上云的三大架構為 IT 架構、應用架構和數(shù)據(jù)架構，在不同的公司，不同的人、不同的角色，關注的重點不同。 對大部分的企業(yè)來講，上云的訴求是從 IT 部門發(fā)起的，發(fā)起人往往是運維部門，他們關注計算、網...
ChatGPT和Sora等AI大模型應用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
大模型的訓練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關性能圖表。同時根據(jù)訓練、推理能力由高到低做了...
高勝山
宋華
