使用Ollama本地化部署DeepSeek

miguel.jiang 發(fā)布于2025-02-07 13:40 / 193人閱讀

DeepSeek-R1-32B-WebUI

DeepSeek-R1采用強(qiáng)化學(xué)習(xí)進(jìn)行后訓(xùn)練，旨在提升推理能力，尤其擅長(zhǎng)數(shù)學(xué)、代碼和自然語(yǔ)言推理等復(fù)雜任務(wù)，該鏡像安裝和使用 Ollama 和 Open WebUI，以便更好地利用深度學(xué)習(xí)模型進(jìn)行推理和交互。

第一步：登錄「優(yōu)云智算」算力共享平臺(tái)并進(jìn)入「鏡像社區(qū)」

地址：https://www.compshare.cn/?ytag=seo

第二步：選擇「DeepSeek-R1-32B」鏡像，點(diǎn)擊「使用該鏡像創(chuàng)建實(shí)例」

鏡像地址：https://www.compshare.cn/images-detail?ImageID=compshareImage-17j1nrwtdmid

根據(jù)鏡像說(shuō)明中的引導(dǎo)，選擇所用模型需要的GPU算力規(guī)格，并點(diǎn)擊「立即部署」即可擁有一個(gè)自帶模型的算力資源。

第三步：進(jìn)入JupyterLab啟動(dòng)服務(wù)

運(yùn)行 Ollama

在終端中執(zhí)行以下命令以啟動(dòng) Ollama 服務(wù)：

ollama serve

運(yùn)行模型（可選）

接下來(lái)，您可以安裝并運(yùn)行指定的深度學(xué)習(xí)模型。以下是安裝和運(yùn)行 deepseek-r1:32b 模型的命令：

ollama run deepseek-r1:32b

啟動(dòng) Open WebUI

啟動(dòng) Open WebUI 服務(wù)，指定端口和主機(jī)：

open-webui serve --port 6080 --host 0.0.0.0

用戶名和密碼設(shè)置

訪問(wèn)機(jī)器外網(wǎng)IP:6080，在啟動(dòng)Open WebUI 后，您需要設(shè)置用戶名和密碼。請(qǐng)按以下步驟進(jìn)行設(shè)置：

創(chuàng)建用戶名和密碼，均設(shè)置為 123。郵箱為：[email protected]

以上是優(yōu)云智算平臺(tái)支持的DeepSeek系列模型，優(yōu)云智算鏡像社區(qū)仍在不斷更新DeepSeek系列鏡像，更有海量AI行業(yè)鏡像等你來(lái)體驗(yàn)，現(xiàn)在注冊(cè)實(shí)名可得20算力金，免費(fèi)體驗(yàn)10小時(shí)4090！

RTX40系云服務(wù)器 GPU云服務(wù)器私有化部署和本地化部署私有云本地化部署私有云與本地化部署本地磁盤使用100

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/131185.html

相關(guān)文章

DeepSeek從入門到精通（2）：0成本用DeepSeek（滿血版）搭建本地知識(shí)庫(kù)

我們身處數(shù)字化浪潮中，知識(shí)管理和利用的重要性與日俱增。擁有一個(gè)專屬的本地知識(shí)庫(kù)，能極大提升工作效率，滿足個(gè)性化需求。但對(duì)于技術(shù)小白來(lái)說(shuō)，搭建這樣的知識(shí)庫(kù)不僅存在技術(shù)門檻，同時(shí)也意味著需要一定的成本投入。本期 DeepSeek 入門教程，優(yōu)刻得將為您提供一個(gè)0成本基于DeepSeek（滿血版）輕松搭建本地知識(shí)庫(kù)的方式。獲取優(yōu)刻得模型服務(wù)平臺(tái)密鑰Key登錄 UCloud 控制臺(tái)https://cons...

UCloud小助手 2025-02-19 18:27 評(píng)論0 收藏0
基于unsloth的DeepSeek-R1動(dòng)態(tài)量化版本部署

DeepSeek-R1-671b動(dòng)態(tài)量化版，由unsloth.ai發(fā)布，推薦使用多卡進(jìn)行部署，具體操作如下。本鏡像還附帶32b的無(wú)限制版蒸餾模型，使用open-webui和ollama以及l(fā)lama.cpp進(jìn)行部署，內(nèi)置所有環(huán)境，即拉即用。第一步：登錄「優(yōu)云智算」算力共享平臺(tái)并進(jìn)入「鏡像社區(qū)」，新用戶免費(fèi)體驗(yàn)10小時(shí)4090地址：https://www.compshare.cn/?ytag=seo...

UCloud小助手 2025-02-08 10:20 評(píng)論0 收藏0
DeepSeek從入門到精通（1）：10分鐘用DeepSeek搭建私有化知識(shí)庫(kù)

DeepSeek 的持續(xù)火熱，吸引了大量個(gè)人開(kāi)發(fā)者和企業(yè)用戶，他們期望借助 DeepSeek 大模型的強(qiáng)大能力，融合私有知識(shí)庫(kù)，訓(xùn)練出契合自身需求的專屬大模型，因此紛紛選擇通過(guò)云端或本地部署的方式來(lái)獨(dú)立部署 DeepSeek。今天，優(yōu)刻得就為大家?guī)?lái)第一期超實(shí)用干貨：僅需 10 分鐘，利用 UCloud 云主機(jī) UHost+DeepSeek + Open-WebUI 快速搭建起屬于自己的私有化知識(shí)...

UCloud小助手 2025-02-19 18:21 評(píng)論0 收藏0
DeepSeek R1系列模型一鍵部署教程，支持云端免費(fèi)體驗(yàn)！

DeepSeek-R1 Distill系列基于DeepSeek-R1的推理能力，通過(guò)蒸餾技術(shù)將推理能力遷移到較小的模型上，在保持高效性能的同時(shí)，成功降低了計(jì)算成本，實(shí)現(xiàn)了小身材、大智慧的完美平衡！該鏡像使用vLLM部署提供支持，適用于高性能大語(yǔ)言模型的推理和微調(diào)任務(wù)，第一步：登錄「優(yōu)云智算」算力共享平臺(tái)并進(jìn)入「鏡像社區(qū)」地址：https://www.compshare.cn/?ytag=seo 第...

社區(qū)管理員 2025-02-07 13:29 評(píng)論0 收藏1
ollama-python-Python快速部署Llama 3等大型語(yǔ)言模型最簡(jiǎn)單方法

ollama介紹在本地啟動(dòng)并運(yùn)行大型語(yǔ)言模型。運(yùn)行Llama 3、Phi 3、Mistral、Gemma和其他型號(hào)。Llama 3Meta Llama 3 是 Meta Inc. 開(kāi)發(fā)的一系列最先進(jìn)的模型，提供8B和70B參數(shù)大?。A(yù)訓(xùn)練或指令調(diào)整）。Llama 3 指令調(diào)整模型針對(duì)對(duì)話/聊天用例進(jìn)行了微調(diào)和優(yōu)化，并且在常見(jiàn)基準(zhǔn)測(cè)試中優(yōu)于許多可用的開(kāi)源聊天模型。安裝pipinstallollama...

UCloud小助手 2024-04-30 17:52 評(píng)論0 收藏0