在很長一段時(shí)間內(nèi)，占據(jù)大模型評測榜單最前列的大多是一些閉源模型，直到Meta再次發(fā)布了最新的開源模型。就在近日，Meta和OpenAI打響了硅谷 AI 大模型保衛(wèi)戰(zhàn)。

美國當(dāng)?shù)貢r(shí)間7月23日，Meta正式發(fā)布Llama 3.1。其包含8B、70B 和405B三個(gè)規(guī)模，最大上下文提升到了128k。Llama是目前開源領(lǐng)域中用戶最多、性能最強(qiáng)的大型模型系列之一。

Meta 表示，他們將通過提供更多與模型協(xié)同工作的組件（包括參考系統(tǒng)），繼續(xù)將 Llama 打造成一個(gè)系統(tǒng)，并希望為開發(fā)人員提供工具，幫助他們創(chuàng)建自己的定制智能體和新智能體行為。

此外，Meta 也將通過新的安全和保障工具（包括 Llama Guard 3 和 Prompt Guard）幫助開發(fā)者負(fù)責(zé)任地進(jìn)行開發(fā)。Meta 在在官方博客中寫道，“迄今為止，開源大語言模型在功能和性能方面大多落后于封閉的同類產(chǎn)品。如今，我們迎來了一個(gè)由開源引領(lǐng)的新時(shí)代。我們將公開發(fā)布 Meta Llama 3.1 405B，我們相信它是世界上規(guī)模最大、功能最強(qiáng)的開放基礎(chǔ)模型。”

性能表現(xiàn)

與之前的 Llama 版本相比，Llama 3.1提高了用于訓(xùn)練前和訓(xùn)練后的數(shù)據(jù)的數(shù)量和質(zhì)量。這些改進(jìn)包括為訓(xùn)練前數(shù)據(jù)開發(fā)更仔細(xì)的預(yù)處理和管理流程、開發(fā)更嚴(yán)格的質(zhì)量保證以及訓(xùn)練后數(shù)據(jù)的過濾方法。

另外，為了支持 405B 規(guī)模模型的大規(guī)模生產(chǎn)推理，團(tuán)隊(duì)還將模型從 16 位 (BF16) 量化為 8 位 (FP8) 數(shù)字，有效降低了所需的計(jì)算要求并允許模型在單個(gè)服務(wù)器節(jié)點(diǎn)內(nèi)運(yùn)行。

在其他場景中，Llama 3.1 405B進(jìn)行了與人工評估的比較，Llama 3.1 405B在常識、可操作性、數(shù)學(xué)、工具使用和多語言翻譯等一系列任務(wù)中，其總體表現(xiàn)優(yōu)于GPT-4o和Claude 3.5 Sonnet。

作為最新版本的一部分，他們推出了 8B 和 70B 模型的升級版本。這兩個(gè)版本支持多種語言，相比于同樣參數(shù)大小的模型性能表現(xiàn)也更好。上下文長度大大增加，達(dá)到 128K，工具使用 SOTA，整體推理能力更強(qiáng)。

這使得 Llama 3.1 系列模型能夠支持高級用例，如長文本摘要、多語言對話智能體和編碼助手。值得一提的是，Meta 還修改了許可證，允許開發(fā)人員使用 Llama 模型（包括 405B 模型）的輸出結(jié)果來改進(jìn)其他模型，并在 llama.meta.com 和 Hugging Face 上向社區(qū)提供這些模型的下載。

模型架構(gòu)

作為 Meta 迄今為止最大的模型，在超過 15 萬億個(gè) token 上訓(xùn)練 Llama 3.1 405B 是一項(xiàng)重大挑戰(zhàn)。為了在合理的時(shí)間內(nèi)完成如此大規(guī)模的訓(xùn)練運(yùn)行并取得這樣的結(jié)果，Meta 對整個(gè)訓(xùn)練堆棧進(jìn)行了大幅優(yōu)化，并將模型訓(xùn)練推送到 1.6 萬多個(gè) H100 GPU 上，使 405B 成為第一個(gè)以如此規(guī)模訓(xùn)練的 Llama 模型。

為了解決這個(gè)問題，Meta 在設(shè)計(jì)時(shí)選擇了保持模型開發(fā)過程的可擴(kuò)展性和直接性（straightforward）。為了最大限度地提高訓(xùn)練的穩(wěn)定性，他們選擇了標(biāo)準(zhǔn)的僅解碼器 transformer 模型架構(gòu)，并作了較小的調(diào)整，而沒有采用混合專家模型。

他們采用了迭代后訓(xùn)練程序，每一輪都使用監(jiān)督微調(diào)和直接偏好優(yōu)化。這使得他們能夠?yàn)槊恳惠営?xùn)練創(chuàng)建最高質(zhì)量的合成數(shù)據(jù)，并提高每種能力的性能。與以前版本的 Llama 相比，Meta 改進(jìn)了預(yù)訓(xùn)練和后訓(xùn)練所用數(shù)據(jù)的數(shù)量和質(zhì)量。

這些改進(jìn)包括為預(yù)訓(xùn)練數(shù)據(jù)開發(fā)了更細(xì)致的預(yù)處理和整理管道，為后訓(xùn)練數(shù)據(jù)開發(fā)了更嚴(yán)格的質(zhì)量保證和過濾方法。正如語言模型的縮放規(guī)律所預(yù)期的那樣，Llama 3.1 405B 優(yōu)于使用相同程序訓(xùn)練的較小模型。他們還利用 Llama 3.1 405B 提高了小型模型的后期訓(xùn)練質(zhì)量。為了支持 Llama 3.1 405B 的大規(guī)模生產(chǎn)推理，他們將模型從 16 位（BF16）量化為 8 位（FP8）數(shù)值，有效降低了所需的計(jì)算要求，使模型可以在單個(gè)服務(wù)器節(jié)點(diǎn)內(nèi)運(yùn)行。

開放推動(dòng)創(chuàng)新

Meta 在官方博客中寫道，與封閉的模型不同，Llama 模型權(quán)重可供下載。

開發(fā)人員可以完全根據(jù)自己的需求和應(yīng)用定制模型，在新的數(shù)據(jù)集上進(jìn)行訓(xùn)練，并進(jìn)行額外的微調(diào)。

這使得更廣泛的開發(fā)者社區(qū)和全世界都能更充分地發(fā)揮生成式人工智能的能力。開發(fā)人員可以根據(jù)自己的應(yīng)用進(jìn)行完全定制，并在任何環(huán)境中運(yùn)行，包括預(yù)置環(huán)境、云環(huán)境，甚至是筆記本電腦上的本地環(huán)境，而無需與 Meta 共享數(shù)據(jù)。

Meta 也表示，雖然很多人可能會(huì)認(rèn)為封閉模型更具成本效益，但根據(jù) Artificial Analysis 的測試，Llama 模型的單位 token 成本在業(yè)內(nèi)最低。正如 Mark Zuckerberg 所指出的那樣，開源將確保全世界更多的人能夠享受到人工智能帶來的好處和機(jī)會(huì)，確保權(quán)力不會(huì)集中在少數(shù)人手中，確保這項(xiàng)技術(shù)能夠在全社會(huì)范圍內(nèi)得到更均衡、更安全的部署。