回答:在大數(shù)據(jù)領(lǐng)域大概有四個大的工作方向,除了大數(shù)據(jù)平臺應(yīng)用及開發(fā)、大數(shù)據(jù)分析與應(yīng)用和大數(shù)據(jù)平臺集成與運(yùn)維之外,還有大數(shù)據(jù)平臺架構(gòu)與研發(fā),除了以上四個大的工作方向之外,還有一個工作方向是大數(shù)據(jù)技術(shù)推廣和培訓(xùn),這部分工作目前也有不少人在從事。大數(shù)據(jù)平臺架構(gòu)與研發(fā)主要的工作內(nèi)容是研發(fā)底層的大數(shù)據(jù)平臺,這部分工作的難度較高,從事這部分工作的研發(fā)級崗位也并不多。現(xiàn)在不少技術(shù)研發(fā)團(tuán)隊都以Hadoop、Spark平...
回答:先上一張大數(shù)據(jù)技術(shù)學(xué)習(xí)的必備技能圖:入門學(xué)習(xí)需要掌握的基本技能:1、Java2、Linux命令3、HDFS4、MapReduce5、 Hadoop6、Hive7、ZooKeeper8、HBase9、Redis10、Flume11、SSM12、Kafka13、Scala14、Spark15、MongoDB16、Python與數(shù)據(jù)分析等等。我們所說的大數(shù)據(jù)培訓(xùn)學(xué)習(xí),一般是指大數(shù)據(jù)開發(fā)。大數(shù)據(jù)開發(fā)需要學(xué)...
互聯(lián)網(wǎng)運(yùn)維工作,以服務(wù)為中心,以穩(wěn)定、安全、高效為三個基本點(diǎn),確保公司的互聯(lián)網(wǎng)業(yè)務(wù)能夠 7×24 小時為用戶提供高質(zhì)量的服務(wù)。 什么是運(yùn)維和運(yùn)維工程師:一、初入運(yùn)維領(lǐng)域的頭銜:運(yùn)維實(shí)習(xí)...
...點(diǎn)評的自動化工具。最早做的是這樣一個系統(tǒng),抽離一下主要是四個東西:中間是一個CMDB,一套流程系統(tǒng),一套操控平臺和一套監(jiān)控系統(tǒng)。自動化主要是四件事—— 第一,資料。所有的自動化基于非常準(zhǔn)確、詳盡的資料,尤其...
...點(diǎn)評的自動化工具。最早做的是這樣一個系統(tǒng),抽離一下主要是四個東西:中間是一個CMDB,一套流程系統(tǒng),一套操控平臺和一套監(jiān)控系統(tǒng)。自動化主要是四件事—— 第一,資料。所有的自動化基于非常準(zhǔn)確、詳盡的資料,尤其...
... 2 萬臺: Facebook 服務(wù)器數(shù)量驚人,其硬件方面的工作重點(diǎn)主要放在可服務(wù)性上,內(nèi)容也涉及服務(wù)器的初期設(shè)計,一系列工作的目標(biāo)就是為了保證數(shù)據(jù)機(jī)房的設(shè)備維修最簡單、最省時。她介紹說,每個 Facebook 數(shù)據(jù)中心的運(yùn)維...
...載著怎樣的責(zé)任?阿里的運(yùn)維體系介紹阿里的運(yùn)維團(tuán)隊,主要覆蓋五個層面。?一.資源的規(guī)劃與支付是運(yùn)維的基石整個運(yùn)維團(tuán)隊需要負(fù)責(zé)資源的規(guī)劃、資源的交付。Quota 管理: 比如我們會跟業(yè)務(wù)團(tuán)隊做一些預(yù)算的管理,對于每...
...公司, 前端, 后端, 數(shù)據(jù)庫, 運(yùn)維什么都做, 最后還是專職做運(yùn)維了. 整理下運(yùn)維的一些技能, 部分是網(wǎng)上資料并整理. Linux基礎(chǔ) 包括對Linux整體的理解/使用和基本命令: 入門Linux:鳥哥的Linux私房菜.基礎(chǔ)學(xué)習(xí)篇(第三版) 熟悉至少...
...它會直接影響到業(yè)務(wù)的收益和成本。目前已有運(yùn)維方法的主要難點(diǎn)是突發(fā)故障的發(fā)現(xiàn)、止損、修復(fù)和規(guī)避,也是我們要解決的關(guān)鍵問題。這些難點(diǎn)導(dǎo)致我們運(yùn)維人有很多痛點(diǎn)。我相信在座的各位都看到過這幅圖,我們運(yùn)維人是全...
...系統(tǒng)的話就可以省去很多麻煩,這也是我們今天要介紹的主要內(nèi)容——資產(chǎn)管理系統(tǒng)(CMDB) 如何構(gòu)建一個好的資產(chǎn)管理系統(tǒng)? 當(dāng)我們在做資產(chǎn)管理系統(tǒng)的時候,也遇到的了開頭我講到的問題。這個問題也給我們帶來了新的思考...
...或者非盈利性組織,那意味著,如果是在這種小型的公司做運(yùn)維,那就不用放棄docker。 其次,如果是對于中型或者大型公司,docker的能力是否滿足公司的需要,公司在技術(shù)選型的規(guī)劃中,是否決定放棄docker?如果公司的技術(shù)架構(gòu)...
... 第四:高效的CI/CD/CD 我們一定要具備快速的交付能力,主要體現(xiàn)這兩個方面:第一,新開發(fā)的能力能不能快速上線,第二,想擴(kuò)容一臺機(jī)器能不能快速擴(kuò)出來。這兩個能力抽象出來是三塊。持續(xù)集成(CI),很多人說持續(xù)集成工具...
...經(jīng)常出現(xiàn)代碼錯合,漏和,丟代碼的現(xiàn)象;質(zhì)量化下降最主要是代碼有bug,線上環(huán)境交付不穩(wěn)定,會有嚴(yán)重問題出現(xiàn),測試環(huán)境不穩(wěn)定指的是在做集成測試時需有一套環(huán)境,若環(huán)境不穩(wěn)定,開發(fā)測試工作會被block;團(tuán)隊之間溝通...
...動化實(shí)踐》。 精彩觀點(diǎn)搶鮮看 實(shí)現(xiàn)運(yùn)維自動化閉環(huán),最主要就是配置管理、狀態(tài)管理和變更管理能力。 治大國如烹小蝦,我們來類比餐廳老板,看如何實(shí)現(xiàn)炒菜的自動化: 首先,我要知道我的廚房里到底有些什么東西是可用...
...用運(yùn)維團(tuán)隊(PE團(tuán)隊),也曾負(fù)責(zé)人人網(wǎng)PE團(tuán)隊?,F(xiàn)階段主要關(guān)注運(yùn)維與業(yè)務(wù)的融合、業(yè)務(wù)可用性保障,運(yùn)維平臺建設(shè)和團(tuán)隊管理。 我是今天最后的演講者,前面幾位都是很知名的運(yùn)維專家,對大家提到的很多運(yùn)維痛點(diǎn)我都感同...
...用運(yùn)維團(tuán)隊(PE團(tuán)隊),也曾負(fù)責(zé)人人網(wǎng)PE團(tuán)隊。現(xiàn)階段主要關(guān)注運(yùn)維與業(yè)務(wù)的融合、業(yè)務(wù)可用性保障,運(yùn)維平臺建設(shè)和團(tuán)隊管理。 我是今天最后的演講者,前面幾位都是很知名的運(yùn)維專家,對大家提到的很多運(yùn)維痛點(diǎn)我都感同...
ChatGPT和Sora等AI大模型應(yīng)用,將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的,但推理(inference/serving)用4090不能說合適,...
圖示為GPU性能排行榜,我們可以看到所有GPU的原始相關(guān)性能圖表。同時根據(jù)訓(xùn)練、推理能力由高到低做了...