數(shù)據(jù)湖架構(gòu)SEARCH AGGREGATION
回答:這個太范化了吧。大數(shù)據(jù)架構(gòu)選擇的方案就有很多，海量數(shù)據(jù)的即席查詢本省就是業(yè)內(nèi)目前的痛點，暫時沒有太好的解決方案，kylin等框架也只是一個折中方案，如果你不是要求海量數(shù)據(jù)分析的秒級響應(yīng)的話sparkSql、presto等都是不錯的方案，分鐘級別可以返回。
Paul_King
|
690人閱讀
回答:現(xiàn)在有幸參與傳統(tǒng)銀行數(shù)字化轉(zhuǎn)型，負責技術(shù)架構(gòu)部分的轉(zhuǎn)型設(shè)計。高性能的數(shù)據(jù)架構(gòu)（High Performance Data Architecture），正是我們架構(gòu)轉(zhuǎn)型的重點。隨著科技的蓬勃發(fā)展、社交網(wǎng)絡(luò)的廣泛使用、線上消費的普及、數(shù)據(jù)挖掘的技術(shù)提升等大趨勢，全球銀行業(yè)正迎來一場聲勢浩大的數(shù)字化創(chuàng)新浪潮。數(shù)字化為消費者的生活及行為模式帶來翻天覆地的變化，也孵化出一批新型的金融科技(Fintech)競...
Lowky
|
543人閱讀
回答:以mysql為列：1：支撐高并發(fā)系統(tǒng)，一定會涉及事務(wù)，所以數(shù)據(jù)庫引擎必選innodb，innodb支持事務(wù)，事務(wù)級別根據(jù)業(yè)務(wù)而定，如果業(yè)務(wù)數(shù)據(jù)一致性要求很高，事務(wù)就開啟序列化級別，這樣就完全隔離事務(wù)，但是會導致鎖資源競爭加劇。mysql的性能有一定的降低。2：讀寫分離，數(shù)據(jù)庫分成主庫和從庫，主庫負責寫數(shù)據(jù)，叢庫負責讀數(shù)據(jù)。注意主從數(shù)據(jù)庫數(shù)據(jù)一致性問題。3：冷熱數(shù)據(jù)分離，美團，餓了么部分設(shè)計采用冷熱...
Vultr
|
1279人閱讀
回答:軟件產(chǎn)品架構(gòu)是不斷迭代演化的，從單體服務(wù)架構(gòu)發(fā)展到現(xiàn)在的服務(wù)化、微服務(wù)的架構(gòu)。單體架構(gòu)單體架構(gòu)就是所有的業(yè)務(wù)模塊都是耦合在一個項目中，開發(fā)、部署都在一起；如果其中一個模塊需要上線升級，那么所有模塊都要一起啟停；在早期，單體架構(gòu)的項目團隊成員需要是全棧，因為前端、后端、數(shù)據(jù)庫都是一波人負責，后來開始進行了邏輯分層，團隊也分成了前端 UI 團隊、后端和 DBA 團隊，每個團隊都有自己負責的職責。然而隨...
khs1994
|
1876人閱讀
回答:超融合是什么參考維基百科中的超融合定義：超融合基礎(chǔ)架構(gòu)（hyper-converged infrastructure）是一個軟件定義的 IT 基礎(chǔ)架構(gòu)，它可虛擬化常見硬件定義系統(tǒng)的所有元素。HCI 包含的最小集合是：虛擬化計算（hypervisor），虛擬存儲（SDS）和虛擬網(wǎng)絡(luò)。HCI 通常運行在標準商用服務(wù)器之上。超融合基礎(chǔ)架構(gòu)（hyper-converged infrastructure）與...
mdluo
|
1022人閱讀
回答:從系統(tǒng)架構(gòu)本身來說，一般系統(tǒng)優(yōu)化主要從三個方面入手，數(shù)據(jù)持久層、業(yè)務(wù)邏輯層和前端展示層。數(shù)據(jù)持久層限制系統(tǒng)性能主要有兩個方面，一是數(shù)據(jù)庫自身的性能，二是對數(shù)據(jù)庫操作的方式，數(shù)據(jù)庫自身相對簡單，一般通過優(yōu)化配置、采用高可用方案、搭建集群或者使用性能更好的數(shù)據(jù)庫來提升性能；數(shù)據(jù)庫操作主要是數(shù)據(jù)庫讀寫操作，可以通過SQL優(yōu)化的方式來提升讀寫速度，或者通過緩存的方式減低并發(fā)、提升性能。業(yè)務(wù)邏輯層代碼層面常...
senntyou
|
1096人閱讀
數(shù)據(jù)湖（Data Lake)，湖倉一體（Data Lakehouse）儼然已經(jīng)成為了大數(shù)據(jù)領(lǐng)域最為火熱的流行詞，在接受這些流行詞洗禮的時候，身為技術(shù)人員我們往往會發(fā)出這樣的疑問，這是一種新的技術(shù)嗎，還是僅僅只是概念上的翻新（新瓶裝舊...
...面實現(xiàn)彈性能力的云平臺、第一個采用容器架構(gòu)來支撐大數(shù)據(jù)能力的平臺、以及去年我們提出的在云中交付機器學習人工智能這樣的業(yè)務(wù)能力。截至2017年底，品高云的產(chǎn)品激活量已達到了3萬臺，其中最長的客戶穩(wěn)定使用時間已...
...各個微服務(wù)可被獨立部署，服務(wù)間是松耦合的關(guān)系，以及數(shù)據(jù)和治理的去中心化管理。微服務(wù)能夠幫助企業(yè)應(yīng)對業(yè)務(wù)復雜、頻繁更新以及團隊規(guī)模龐大帶來的挑戰(zhàn)，實現(xiàn)IT對業(yè)務(wù)創(chuàng)新的驅(qū)動。 1月12日，網(wǎng)易云主辦的微服務(wù)實踐...
當前，大數(shù)據(jù)的價值已無需贅述，作為衡量一個公司核心能力的最底層標準，數(shù)據(jù)的建設(shè)也面臨著諸多難題。為了幫助企業(yè)用戶解決大數(shù)據(jù)分析門檻高、效率低的問題，UCloud USQL數(shù)據(jù)湖分析應(yīng)運而生，可輕松完成面向海量數(shù)據(jù)的...
...云計算的一小步，但可能是存儲行業(yè)的一大步。 關(guān)于數(shù)據(jù)存儲，學究們可以追溯到遠古時期最早的結(jié)繩計數(shù)，或是以龜甲上刻下的第一個字為源頭……時間和方式可能并不重要，重要的是數(shù)據(jù)存儲自此而始。 對于現(xiàn)代人來說...
...、部署多云戰(zhàn)略、將移動應(yīng)用程序納入云端、構(gòu)建可行的數(shù)據(jù)湖，以及使用數(shù)據(jù)的民主化。這些分析工具對于幫助行業(yè)部門成為人工智能驅(qū)動型企業(yè)至關(guān)重要。人工智能不僅僅是一種技術(shù)，也是一種不可忽視的商業(yè)模式轉(zhuǎn)變。云...
...個新名詞了？先說我的想法，其實還是用戶需求驅(qū)動數(shù)據(jù)服務(wù)，大家開始關(guān)注 Data Lake 的根本原因是用戶需求發(fā)生了質(zhì)變，過去的數(shù)據(jù)倉庫模式以及涉及到的相關(guān)組件沒有辦法滿足日益進步的用戶需求。趨勢這里聊一個很重...
...631.png style=max-width:650px/>1、數(shù)據(jù)結(jié)構(gòu)：數(shù)據(jù)倉庫只能存儲經(jīng)過處理和提煉的數(shù)據(jù)，而數(shù)據(jù)湖存儲尚未出于某種目的處理的原始數(shù)據(jù)。因此，數(shù)據(jù)湖需要比數(shù)據(jù)倉庫大得多的存儲容量，且數(shù)據(jù)靈活、分...
評論
收藏
...欠東風?，F(xiàn)在公共云混戰(zhàn)，我想說，無災(zāi)備不上云，保護數(shù)據(jù)，未雨綢繆，帶了雨傘，還需雨衣。未雨綢繆，到底是帶雨傘還是雨衣呢？時代在變，人的追求也在變。隨著公共云對企業(yè)用戶的影響加深，一大批上云企業(yè)越來越重...
...最近吳寧川一篇《厲害了，螞蟻金服！創(chuàng)造了中國自己的數(shù)據(jù)庫OceanBase》報道了OceanBase誕生的前因后果。內(nèi)容非常詳實，值得分享。同時自己也分享幾點雜想： 第一，殺熟不僅僅是大數(shù)據(jù)時代的產(chǎn)物 之前從某網(wǎng)平臺爆出的訂購...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
大模型的訓練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時根據(jù)訓練、推理能力由高到低做了...
