Llama3來(lái)襲！如何通過(guò)4090GPU云主機(jī)快速部署？

UCloud小助手發(fā)布于2024-04-28 17:46 / 201121人閱讀

2024年4月18日，Meta AI正式宣布推出開(kāi)源大模型Llama3，這標(biāo)志著開(kāi)源大型語(yǔ)言模型（LLM）領(lǐng)域的又一重大突破。Llama3以其卓越的性能和廣泛的應(yīng)用前景，或?qū)⑼苿?dòng)人工智能技術(shù)快速邁進(jìn)新紀(jì)元。

為方便AI應(yīng)用企業(yè)及個(gè)人AI開(kāi)發(fā)者快速體驗(yàn)Llama3的超高性能，近期優(yōu)刻得GPU云主機(jī)上線Llama3-8B-Instruct-Chinese鏡像，一鍵配置，快速部署模型開(kāi)發(fā)環(huán)境。為客戶提供開(kāi)箱即用的Llama3模型微調(diào)及推理環(huán)境，節(jié)省配置時(shí)間，提高開(kāi)發(fā)效率。

快速搭建Llama3的微調(diào)或推理環(huán)境，僅需以下5步：

1、登錄UCloud控制臺(tái)：http://systransis.cn/site/active/gpu.html?ytag=seo

2、選擇GPU云主機(jī)，各模型的推薦機(jī)型及配置參考文檔https://docs.ucloud.cn/gpu/practice/Llama3-8B-Instruct-Chinese

3、在鏡像市場(chǎng)選擇鏡像，選擇Llama3

4、立即創(chuàng)建，開(kāi)機(jī)執(zhí)行進(jìn)程啟動(dòng)命令

cd /home/ubuntu/llama3-Chinese-chat
conda activate llama3-chinese
nohup streamlit run deploy/web_streamlit_for_instruct.py model/llama-3-8b-Instruct-chinese --theme.base="light" 2>&1 &

5、防火墻開(kāi)發(fā)8501端口后，通過(guò)http://服務(wù)器IP地址:8501 訪問(wèn)

Llama3由Meta在15萬(wàn)億tokens數(shù)據(jù)集上訓(xùn)練而成，是Llama2體量的7倍，包括4倍的代碼數(shù)據(jù)。其中預(yù)訓(xùn)練數(shù)據(jù)集中還有5%的非英語(yǔ)數(shù)據(jù)集，總計(jì)支持高達(dá)30種語(yǔ)言，在做非英語(yǔ)語(yǔ)言能力對(duì)齊方面也會(huì)更有優(yōu)勢(shì)。Llama3 Instruct 更是針對(duì)對(duì)話應(yīng)用進(jìn)行了優(yōu)化，結(jié)合了超過(guò)1000萬(wàn)的人工標(biāo)注數(shù)據(jù)，通過(guò)監(jiān)督式微調(diào)（SFT）、拒絕采樣、鄰近策略優(yōu)化（PPO）和直接策略優(yōu)化（DPO）進(jìn)行訓(xùn)練。本次優(yōu)刻得GPU鏡像市場(chǎng)上線的是基于中文語(yǔ)料指令微調(diào)之后的模型（Llama3-8B-Instruct-Chinese），在中文表現(xiàn)上有相對(duì)不錯(cuò)的效果。

在上下文方面，Llama3支持8K的上下文長(zhǎng)度，是Llama2容量的兩倍，極大地提高了多步驟任務(wù)的處理能力。同時(shí)，該模型特別強(qiáng)調(diào)在理解、代碼生成和指令跟隨等復(fù)雜任務(wù)上的性能改進(jìn)。Llama3 8B和70B參數(shù)的模型在多個(gè)行業(yè)基準(zhǔn)測(cè)試中展示了最先進(jìn)的性能，特別是在推理和編碼任務(wù)上。其中700億參數(shù)規(guī)模的模型評(píng)測(cè)結(jié)果極其優(yōu)秀。最大的亮點(diǎn)是在數(shù)學(xué)評(píng)測(cè)GSM8K的得分達(dá)到93分！根據(jù)DataLearnerAI目前收集的數(shù)據(jù)，這個(gè)分?jǐn)?shù)僅次于Claude3-Opus的95分，超過(guò)GPT-4，位居全球第二，是目前開(kāi)源大模型中得分最高的一個(gè)。

優(yōu)刻得GPU云主機(jī)鏡像市場(chǎng)上線Llama3鏡像，可為AI應(yīng)用客戶提供最新模型一鍵部署的極速體驗(yàn)。不僅如此，優(yōu)刻得還同步對(duì)外提供智算調(diào)度、模型微調(diào)及推理服務(wù)部署服務(wù)。優(yōu)刻得以云主機(jī)、裸金屬、高性能存儲(chǔ)、低延遲網(wǎng)絡(luò)等基礎(chǔ)設(shè)施領(lǐng)域積累的運(yùn)營(yíng)經(jīng)驗(yàn)為基礎(chǔ)，搭配“孔明”的資源調(diào)度、多用戶管理與分布式訓(xùn)練的能力，以及UModelVerse模型推理服務(wù)平臺(tái)，形成一站式的AI計(jì)算開(kāi)發(fā)解決方案，服務(wù)大模型開(kāi)發(fā)者、應(yīng)用廠商、高校及科研機(jī)構(gòu)等合作伙伴，共同推進(jìn)大模型產(chǎn)業(yè)發(fā)展。

隨著人工智能技術(shù)的演進(jìn)，像Llama3這樣性能卓越的大模型，將為通用人工智能（AGI）的未來(lái)發(fā)展和落地應(yīng)用提供強(qiáng)有力的支持。優(yōu)刻得也將始終以推動(dòng)人工智能技術(shù)發(fā)展與應(yīng)用為己任，持續(xù)與業(yè)界合作伙伴緊密合作，為行業(yè)用戶提供快速搭建大型模型推理或微調(diào)環(huán)境的解決方案，以及高性能的AI算力集群，助力AIGC產(chǎn)業(yè)降本增效。

附高性能NVIDIA RTX 40 系列云服務(wù)器購(gòu)買(mǎi)：

http://systransis.cn/site/active/gpu.html?ytag=seo

https://www.compshare.cn/?ytag=seo