資訊專欄INFORMATION COLUMN
2月10日，清華大學(xué)KVCache.AI團(tuán)隊(duì)聯(lián)合趨境科技發(fā)布的KTransformers開(kāi)源項(xiàng)目公布更新：一塊24G顯存的4090D就可以在本地運(yùn)行DeepSeek-R1、V3的671B“滿血版”。預(yù)處理速度最高達(dá)到286 tokens/s，推理生成速度最高能達(dá)到14 tokens/s。
KTransformers通過(guò)優(yōu)化本地機(jī)器上的LLM部署，幫助解決資源限制問(wèn)題。該框架采用了異構(gòu)計(jì)算、先進(jìn)量化技術(shù)、稀疏注意力機(jī)制等多種創(chuàng)新手段，提升了模型的計(jì)算效率，并具備處理長(zhǎng)上下文序列的能力。
基于Ktransformers部署DeepSeek-R1
第一步：登錄「優(yōu)云智算」算力共享平臺(tái)并進(jìn)入「鏡像社區(qū)」
訪問(wèn)優(yōu)云智算官網(wǎng)：https://www.compshare.cn/ ，點(diǎn)擊右上角登錄進(jìn)行賬號(hào)注冊(cè)，注冊(cè)實(shí)名后將得到20元算力金，可免費(fèi)體驗(yàn)4090 10小時(shí)。
步驟二：創(chuàng)建GPU實(shí)例
訪問(wèn)優(yōu)云智算鏡像社區(qū)，選擇DeepSeek Ktransformers鏡像。
鏈接直達(dá)：https://www.compshare.cn/images-detail?ImageID=compshareImage-18ikrnb3x30r
KTransformers目前支持Q4級(jí)別的DeepSeek的QA對(duì)話，由于內(nèi)存需要300G以上，因此需要選擇4卡4090資源。
第三步：啟動(dòng)推理服務(wù)，鏡像已配置好所需依賴環(huán)境，無(wú)需額外安裝，即可通過(guò)以下命令啟動(dòng)推理服務(wù)
打開(kāi)Jupyterlab：
進(jìn)入Terminal并執(zhí)行服務(wù)啟動(dòng)命令：
進(jìn)入 KTransformers 目錄：
cd ktransformers/
運(yùn)行本地聊天程序：
python ./ktransformers/local_chat.py --model_path deepseek-ai/DeepSeek-R1 --gguf_path /compshare-model/DeepSeek-R1-GGUF/DeepSeek-R1-Q4_K_M --force_think true --cpu_infer 60 --max_new_tokens 1000 --optimize_rule_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml
服務(wù)啟動(dòng)較慢，需要等待幾分鐘。
參數(shù)說(shuō)明：
--model_path（必需）：指定模型名稱，例如 "deepseek-ai/DeepSeek-V2-Lite-Chat"，該名稱會(huì)自動(dòng)從 Hugging Face 下載配置文件。如果您已經(jīng)有本地文件，可以直接使用該路徑來(lái)初始化模型。
注意：目錄中不需要 .safetensors 文件，我們只需要配置文件來(lái)構(gòu)建模型和分詞器。
--gguf_path（必需）：指定包含 GGUF 文件的目錄路徑，這些文件可以從 Hugging Face 下載。注意該目錄應(yīng)僅包含當(dāng)前模型的 GGUF 文件，這意味著每個(gè)模型需要一個(gè)多帶帶的目錄。
--optimize_rule_path（除 Qwen2Moe 和 DeepSeek-V2 外必需）：指定包含優(yōu)化規(guī)則的 YAML 文件路徑。ktransformers/optimize/optimize_rules 目錄中預(yù)先寫好了兩個(gè)規(guī)則文件，用于優(yōu)化 DeepSeek-V2 和 Qwen2-57B-A14，這兩個(gè)是當(dāng)前最先進(jìn)的 MoE 模型。
--max_new_tokens：整數(shù)（默認(rèn)值為 1000）。生成的新令牌的最大數(shù)量。
--cpu_infer：整數(shù)（默認(rèn)值為 10）。用于推理的 CPU 數(shù)量。理想情況下應(yīng)設(shè)置為（總核心數(shù) - 2）。
以上是優(yōu)云智算平臺(tái)支持的Ktransformers DeepSeek模型，優(yōu)云智算鏡像社區(qū)仍在不斷更新DeepSeek系列鏡像，更有海量AI行業(yè)鏡像等你來(lái)體驗(yàn)！
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/131188.html
我們身處數(shù)字化浪潮中，知識(shí)管理和利用的重要性與日俱增。擁有一個(gè)專屬的本地知識(shí)庫(kù)，能極大提升工作效率，滿足個(gè)性化需求。但對(duì)于技術(shù)小白來(lái)說(shuō)，搭建這樣的知識(shí)庫(kù)不僅存在技術(shù)門檻，同時(shí)也意味著需要一定的成本投入。本期 DeepSeek 入門教程，優(yōu)刻得將為您提供一個(gè)0成本基于DeepSeek（滿血版）輕松搭建本地知識(shí)庫(kù)的方式。獲取優(yōu)刻得模型服務(wù)平臺(tái)密鑰Key登錄 UCloud 控制臺(tái)https://cons...
DeepSeek V3憑借多頭潛注意力（MLA）與優(yōu)化的混合專家網(wǎng)絡(luò)（MoE）架構(gòu)，奠定了高效訓(xùn)練的基礎(chǔ)，僅以557.6萬(wàn)元成本實(shí)現(xiàn)媲美OpenAI O1的性能；而R1則基于V3進(jìn)一步突破，通過(guò)無(wú)監(jiān)督強(qiáng)化學(xué)習(xí)與知識(shí)蒸餾技術(shù)，在推理能力上對(duì)標(biāo)頂尖模型，同時(shí)開(kāi)源多尺寸版本，推動(dòng)更廣泛的應(yīng)用。DeepSeek三種模式對(duì)比基礎(chǔ)模型（V3）：通用模型（2024.12），高效便捷，適用于絕大多數(shù)任務(wù)，規(guī)范性 ...
DeepSeek-R1-671b動(dòng)態(tài)量化版，由unsloth.ai發(fā)布，推薦使用多卡進(jìn)行部署，具體操作如下。本鏡像還附帶32b的無(wú)限制版蒸餾模型，使用open-webui和ollama以及l(fā)lama.cpp進(jìn)行部署，內(nèi)置所有環(huán)境，即拉即用。第一步：登錄「優(yōu)云智算」算力共享平臺(tái)并進(jìn)入「鏡像社區(qū)」，新用戶免費(fèi)體驗(yàn)10小時(shí)4090地址：https://www.compshare.cn/?ytag=seo...
DeepSeek-R1 Distill系列基于DeepSeek-R1的推理能力，通過(guò)蒸餾技術(shù)將推理能力遷移到較小的模型上，在保持高效性能的同時(shí)，成功降低了計(jì)算成本，實(shí)現(xiàn)了小身材、大智慧的完美平衡！該鏡像使用vLLM部署提供支持，適用于高性能大語(yǔ)言模型的推理和微調(diào)任務(wù)，第一步：登錄「優(yōu)云智算」算力共享平臺(tái)并進(jìn)入「鏡像社區(qū)」地址：https://www.compshare.cn/?ytag=seo 第...
DeepSeek-R1-32B-WebUIDeepSeek-R1采用強(qiáng)化學(xué)習(xí)進(jìn)行后訓(xùn)練，旨在提升推理能力，尤其擅長(zhǎng)數(shù)學(xué)、代碼和自然語(yǔ)言推理等復(fù)雜任務(wù)，該鏡像安裝和使用 Ollama 和 Open WebUI，以便更好地利用深度學(xué)習(xí)模型進(jìn)行推理和交互。第一步：登錄「優(yōu)云智算」算力共享平臺(tái)并進(jìn)入「鏡像社區(qū)」地址：https://www.compshare.cn/?ytag=seo第二步：選擇「Deep...
閱讀 109·2025-02-19 18:27
閱讀 133·2025-02-19 18:21
閱讀 66·2025-02-19 13:50
閱讀 809·2025-02-13 22:35
閱讀 512·2025-02-08 10:20
閱讀 5779·2025-01-02 11:25
閱讀 743·2024-12-10 11:51
閱讀 580·2024-11-07 17:59
