回答:這個(gè)太范化了吧。大數(shù)據(jù)架構(gòu)選擇的方案就有很多,海量數(shù)據(jù)的即席查詢本省就是業(yè)內(nèi)目前的痛點(diǎn),暫時(shí)沒(méi)有太好的解決方案,kylin等框架也只是一個(gè)折中方案,如果你不是要求海量數(shù)據(jù)分析的秒級(jí)響應(yīng)的話sparkSql、presto等都是不錯(cuò)的方案,分鐘級(jí)別可以返回。
回答:現(xiàn)在有幸參與傳統(tǒng)銀行數(shù)字化轉(zhuǎn)型,負(fù)責(zé)技術(shù)架構(gòu)部分的轉(zhuǎn)型設(shè)計(jì)。高性能的數(shù)據(jù)架構(gòu)(High Performance Data Architecture),正是我們架構(gòu)轉(zhuǎn)型的重點(diǎn)。隨著科技的蓬勃發(fā)展、社交網(wǎng)絡(luò)的廣泛使用、線上消費(fèi)的普及、數(shù)據(jù)挖掘的技術(shù)提升等大趨勢(shì),全球銀行業(yè)正迎來(lái)一場(chǎng)聲勢(shì)浩大的數(shù)字化創(chuàng)新浪潮。數(shù)字化為消費(fèi)者的生活及行為模式帶來(lái)翻天覆地的變化,也孵化出一批新型的金融科技(Fintech)競(jìng)...
回答:以mysql為列:1:支撐高并發(fā)系統(tǒng),一定會(huì)涉及事務(wù),所以數(shù)據(jù)庫(kù)引擎必選innodb,innodb支持事務(wù),事務(wù)級(jí)別根據(jù)業(yè)務(wù)而定,如果業(yè)務(wù)數(shù)據(jù)一致性要求很高,事務(wù)就開啟序列化級(jí)別,這樣就完全隔離事務(wù),但是會(huì)導(dǎo)致鎖資源競(jìng)爭(zhēng)加劇。mysql的性能有一定的降低。2:讀寫分離,數(shù)據(jù)庫(kù)分成主庫(kù)和從庫(kù),主庫(kù)負(fù)責(zé)寫數(shù)據(jù),叢庫(kù)負(fù)責(zé)讀數(shù)據(jù)。注意主從數(shù)據(jù)庫(kù)數(shù)據(jù)一致性問(wèn)題。3:冷熱數(shù)據(jù)分離,美團(tuán),餓了么部分設(shè)計(jì)采用冷熱...
回答:軟件產(chǎn)品架構(gòu)是不斷迭代演化的,從單體服務(wù)架構(gòu)發(fā)展到現(xiàn)在的服務(wù)化、微服務(wù)的架構(gòu)。單體架構(gòu)單體架構(gòu)就是所有的業(yè)務(wù)模塊都是耦合在一個(gè)項(xiàng)目中,開發(fā)、部署都在一起;如果其中一個(gè)模塊需要上線升級(jí),那么所有模塊都要一起啟停;在早期,單體架構(gòu)的項(xiàng)目團(tuán)隊(duì)成員需要是全棧,因?yàn)榍岸?、后端、?shù)據(jù)庫(kù)都是一波人負(fù)責(zé),后來(lái)開始進(jìn)行了邏輯分層,團(tuán)隊(duì)也分成了前端 UI 團(tuán)隊(duì)、后端和 DBA 團(tuán)隊(duì),每個(gè)團(tuán)隊(duì)都有自己負(fù)責(zé)的職責(zé)。然而隨...
回答:超融合是什么參考維基百科中的超融合定義:超融合基礎(chǔ)架構(gòu)(hyper-converged infrastructure)是一個(gè)軟件定義的 IT 基礎(chǔ)架構(gòu),它可虛擬化常見硬件定義系統(tǒng)的所有元素。HCI 包含的最小集合是:虛擬化計(jì)算(hypervisor),虛擬存儲(chǔ)(SDS)和虛擬網(wǎng)絡(luò)。HCI 通常運(yùn)行在標(biāo)準(zhǔn)商用服務(wù)器之上。超融合基礎(chǔ)架構(gòu)(hyper-converged infrastructure)與...
回答:從系統(tǒng)架構(gòu)本身來(lái)說(shuō),一般系統(tǒng)優(yōu)化主要從三個(gè)方面入手,數(shù)據(jù)持久層、業(yè)務(wù)邏輯層和前端展示層。數(shù)據(jù)持久層限制系統(tǒng)性能主要有兩個(gè)方面,一是數(shù)據(jù)庫(kù)自身的性能,二是對(duì)數(shù)據(jù)庫(kù)操作的方式,數(shù)據(jù)庫(kù)自身相對(duì)簡(jiǎn)單,一般通過(guò)優(yōu)化配置、采用高可用方案、搭建集群或者使用性能更好的數(shù)據(jù)庫(kù)來(lái)提升性能;數(shù)據(jù)庫(kù)操作主要是數(shù)據(jù)庫(kù)讀寫操作,可以通過(guò)SQL優(yōu)化的方式來(lái)提升讀寫速度,或者通過(guò)緩存的方式減低并發(fā)、提升性能。業(yè)務(wù)邏輯層代碼層面常...
...下游依賴關(guān)系圖,在故障發(fā)生時(shí),開發(fā)人員可以借助依賴數(shù)據(jù)快速定位到問(wèn)題的來(lái)源,極大縮短問(wèn)題修復(fù)時(shí)間(MTTR)。借助架構(gòu)圖,我們還可以梳理出系統(tǒng)中存在的強(qiáng)弱依賴,在業(yè)務(wù)高峰期對(duì)弱依賴進(jìn)行降級(jí),或者針對(duì)系統(tǒng)依...
...部署,通過(guò)API接口互相通信。通訊協(xié)議一般使用HTTP/RPC,數(shù)據(jù)格式是JSON(是一種輕量級(jí)的數(shù)據(jù)交換格式),應(yīng)用集成方式比較簡(jiǎn)化。優(yōu)點(diǎn): 應(yīng)用內(nèi)部高內(nèi)聚,獨(dú)立開發(fā)、測(cè)試和部署,應(yīng)用之間松耦合,業(yè)務(wù)邊界清晰,業(yè)務(wù)依賴明確...
...,即使業(yè)務(wù)層沒(méi)有處理業(yè)務(wù)規(guī)則,也要通過(guò)業(yè)務(wù)層來(lái)調(diào)用數(shù)據(jù)層,這叫分層隔離。對(duì)于某些功能,如果我們從表現(xiàn)層直接訪問(wèn)數(shù)據(jù)層,那么數(shù)據(jù)層后續(xù)的任何變動(dòng)都將影響到業(yè)務(wù)層和表現(xiàn)層。 注意分層的開閉原則。如果某層是...
...于架構(gòu)師而言,技術(shù)的發(fā)展是無(wú)盡的,在搭建和實(shí)踐智能數(shù)據(jù)架構(gòu)的過(guò)程中,架構(gòu)師們都會(huì)或多或少地遇到一些疑惑和挑戰(zhàn),如何解決在架構(gòu)建設(shè)中遇到的某些問(wèn)題?架構(gòu)建設(shè)的領(lǐng)域又有什么新的行業(yè)動(dòng)態(tài)和技術(shù)方法? 近日,...
...于架構(gòu)師而言,技術(shù)的發(fā)展是無(wú)盡的,在搭建和實(shí)踐智能數(shù)據(jù)架構(gòu)的過(guò)程中,架構(gòu)師們都會(huì)或多或少地遇到一些疑惑和挑戰(zhàn),如何解決在架構(gòu)建設(shè)中遇到的某些問(wèn)題?架構(gòu)建設(shè)的領(lǐng)域又有什么新的行業(yè)動(dòng)態(tài)和技術(shù)方法? 近日,...
...于架構(gòu)師而言,技術(shù)的發(fā)展是無(wú)盡的,在搭建和實(shí)踐智能數(shù)據(jù)架構(gòu)的過(guò)程中,架構(gòu)師們都會(huì)或多或少地遇到一些疑惑和挑戰(zhàn),如何解決在架構(gòu)建設(shè)中遇到的某些問(wèn)題?架構(gòu)建設(shè)的領(lǐng)域又有什么新的行業(yè)動(dòng)態(tài)和技術(shù)方法? 近日,...
...。2、流量的敏感性。傳統(tǒng)PC和web的應(yīng)用架構(gòu)可能不太關(guān)注數(shù)據(jù)量、流量,但移動(dòng)端、無(wú)線端,流量有限,用戶非常關(guān)注。所以在架構(gòu)和協(xié)議設(shè)計(jì)以及數(shù)據(jù)上,要給予非常重點(diǎn)的關(guān)注。3、消息的可達(dá)性。在PC和web端一般認(rèn)為消息發(fā)...
...時(shí)采用這種架構(gòu)。用redis等緩存擋住并發(fā),用MySQL來(lái)存儲(chǔ)數(shù)據(jù)。前端的報(bào)表分析直接操作MySQL即可。我并不反對(duì)單體架構(gòu),反而我覺(jué)得很合適,由于初創(chuàng)企業(yè)業(yè)務(wù)形態(tài)并不穩(wěn)定,單體架構(gòu)其實(shí)很容易調(diào)整,殺雞焉用牛刀。 公司是...
...應(yīng)用都需要有 APM 體系,可以隨時(shí)分析性能的情況;在大數(shù)據(jù)時(shí)代,隨著數(shù)據(jù)規(guī)模的增加以及硬件計(jì)算能力的提升,數(shù)據(jù)庫(kù)的使用也發(fā)生了重大的變化;最重要的,整個(gè) DevOps 也在進(jìn)化到人工智能時(shí)代,監(jiān)控、服務(wù)治理、調(diào)度這...
...應(yīng)用都需要有 APM 體系,可以隨時(shí)分析性能的情況;在大數(shù)據(jù)時(shí)代,隨著數(shù)據(jù)規(guī)模的增加以及硬件計(jì)算能力的提升,數(shù)據(jù)庫(kù)的使用也發(fā)生了重大的變化;最重要的,整個(gè) DevOps 也在進(jìn)化到人工智能時(shí)代,監(jiān)控、服務(wù)治理、調(diào)度這...
ChatGPT和Sora等AI大模型應(yīng)用,將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的,但推理(inference/serving)用4090不能說(shuō)合適,...
圖示為GPU性能排行榜,我們可以看到所有GPU的原始相關(guān)性能圖表。同時(shí)根據(jù)訓(xùn)練、推理能力由高到低做了...