DeepSeek本地化部署(Windows+Ollama+Docker+OpenWebUI)
最近抖音熱搜的DeepSeek AI火遍國內外, 在AI 行業(yè)引起了廣泛關注!
2025年1月,DeepSeek 正式發(fā)布 DeepSeek-R1 推理大模型,DeepSeek-R1 成本價格低廉,性能卓越。
最近,DeepSeek的訪問出現(xiàn)了不穩(wěn)定的問題,一個有效的解決方案是進行本地化部署。本地化部署不僅可以避免網絡波動帶來的影響,還能提供更高的隱私保護和數(shù)據(jù)安全性。通過本地化部署,用戶可以在自己的設備上運行DeepSeek模型,無需依賴外部網絡連接,從而實現(xiàn)更穩(wěn)定、更可靠的使用體驗。
DeepSeek 提供了多種使用方式,滿足不同用戶的需求和場景。本地部署在數(shù)據(jù)安全、性能、定制化、成本、離線可用性和技術自主性方面具有顯著優(yōu)勢。
接下來我詳細講解下基于Windows+Ollama+Docker+OpenWebUI 的本地化部署流程,并通過實例代碼演示。
1. 軟硬件需求
1.1 硬件需求
DeepSeek R1 本地部署的硬件需求如下:
基本推薦配置:CPU: 8核或以上,內存: 32GB或以上,存儲: 100GB SSD或以上
GPU: NVIDIA GTX2080或同等性能
DeepSeek-7B 推薦配置:RTX3060 以上顯卡 + 16G以上 內存 + 50G SSD 存儲空間
DeepSeek-70B 推薦配置:RTX4060 以上顯卡 + 32G以上 內存 + 200G SSD 存儲空間
本教程使用的硬件配置為:
CPU: Intel i5-12490/3.00GHz
內存: 32GB
存儲: 500GB SSD
GPU: NVIDIA GTX 3060。
1.2 軟件依賴
DeepSeek R1 本地部署的軟件依賴包括操作系統(tǒng)、容器化工具、編程語言、深度學習框架、數(shù)據(jù)庫、消息隊列、Web 服務器、GPU 加速工具、版本控制、包管理工具、監(jiān)控與日志工具以及安全工具。
本教程采用 Windows10 操作版本、Python 3.8 版本、PyTorch 1.7 版本。
2. Ollama 下載與安裝
2.1 Ollama 的下載
Ollama 是一個開源的本地模型運行工具,可以方便地下載和運行各種開源模型,如 Llama、Qwen、DeepSeek 等。
Ollama 提供高效、靈活的大模型部署和管理解決方案,可以簡化模型的部署流程。支持macOS、Linux、Windows 操作系統(tǒng)。
官網地址:https://ollama.com/
下載地址:https://ollama.com/download
本教程選擇 Ollama Windows 版本 下載。
2.2 Ollama 的安裝
下載完成后直接點擊 OllamaSetup.exe 進行安裝。
安裝完成后,cmd 打開命令行窗口,輸入 “ollama -v” 測試,顯示 ollama 的版本為 “0.5.7”,表明安裝成功。
2.3 Ollama 的運行
Ollama 沒有用戶界面,在后臺會自動運行,重啟電腦也會自動啟動。
打開瀏覽器,輸入 :
“http://localhost:11434/”,
顯示 “Ollama is running”。
3. deepseek-r1 模型安裝
3.1 Ollma 安裝 deepseek-r1 模型
(1)從 ollama 官網 查找 deepseek-r1 模型。
(2)點擊進入 deepseek-r1 模型,可以選擇不同版本的模型(1.5b/7b/14b/32b/70b/671b)。
deepseek-r1 提供多個版本,參數(shù)量越大,模型的性能越強大,但也需要更多的存儲和計算資源。
1.5b 模型參數(shù)為15億/1.1GB,
7b 模型參數(shù)約為 70億/4.7GB,
14b 模型參數(shù)約為 140億/9GB。
deepseek-r1 不同版本模型的執(zhí)行命令不同:
1.5b 的命令為:“ollama run deepseek-r1:1.5b”
7b 的命令為:“ollama run deepseek-r1:7b”
14b 的命令為:“ollama run deepseek-r1:14b”
推薦大家先下載較小的 1.5b 模型,把本教程的安裝程序跑通,再根據(jù)自己的硬件配置和需求安裝適當?shù)陌姹尽?/p>
(3)本教程選擇選擇 7b 模型,在命令行窗口運行安裝命令 “ollama run deepseek-r1:7b”,程序會自動下載和安裝運行。
默認地址是 “C:\Users%username%.ollama\models”。
如果要修改模型的保存地址,可以新建一個文件夾如 “C:\Model”,然后在系統(tǒng)環(huán)境變量添加系統(tǒng)變量:
“變量名:OLLAMA_MODELS,
變量值:C:\Model”。
(4)安裝完成后顯示 “success”,表明安裝成功。
3.2 使用 deepseek-r1 模型
(1)在命令行窗口運行命令 “ollama run deepseek-r1:7b”,就可以在提示行輸入,與 deepseek-r1 進行聊天。
(2)輸入 “/?”,可以獲得幫助。
通過本地命令行窗口可以使用 deepseek-r1,但這讓人回到了 DOS 年代,交互體驗很差。接下來我們按照 Docker 和 Open WebUI 用戶界面,可以更便捷地使用 deepseek-r1。
4. 安裝 Docker
Docker是一種虛擬化容器技術。Docker基于鏡像,可以秒級啟動各種容器。每一種容器都是一個完整的運行環(huán)境,容器之間互相隔離。
4.1 檢查安裝環(huán)境
在 Windows 任務管理器中,檢查系統(tǒng)是否開啟虛擬化。
打開任務管理器(Ctrl+Alt+Delete),選擇:性能 - CPU - 虛擬化,確認“虛擬化”已啟用。
如果未開啟虛擬化,則要開機重啟并進入BIOS 進行設置:在 BIOS 選擇:Advanced(高級)-- CPU Configuration – Secure Virtual Machine,設置為:Enabled(啟用)。
在 “控制面板” 打開 “程序”,然后點擊 “啟用或關閉 Windows 功能”,勾選 “Hyper-V 管理工具” 和 “Hyper-V 平臺”。
以管理員身份打開命令行窗口,輸入 “wsl --set-default-version 2”,將默認設置為 WSL 2。
通過適用于 Linux 的 Windows 子系統(tǒng) (WSL),開發(fā)人員可以安裝 Linux 發(fā)行版,并直接在 Windows 上使用 Linux 應用程序、實用程序和 Bash 命令行工具,不用進行任何修改。
命令行窗口,輸入 “wsl --update --web-download”,更新安裝 wsl。
4.2 安裝 Docker for Desktop
Docker Desktop 是 Docker 官方提供的桌面應用程序,旨在讓開發(fā)者能夠在 Windows 和 macOS 系統(tǒng)上輕松地構建、運行和共享容器化應用程序。Docker Desktop 提供了一個方便的工具集,使用戶能夠快速部署容器化應用程序,同時還包括了一些強大的功能和工具,如 Docker Engine、Docker CLI、Docker Compose 等。
從 Docker 官方 下載 Docker 安裝程序。
我們進入docker 官網,選擇自己電腦對應的版本,然后點擊下載。
依照提示完成安裝即可。
安裝時選擇推薦設置。
根據(jù)提示登錄賬號,如使用 GitHub 賬號登錄。
安裝完成后,cmd 打開命令行窗口,輸入 “docker version” 檢查,顯示 docker 的版本為 “27.4.0”,表明安裝成功。
4.3 配置docker
安裝完成后,我們打開docker,注冊登錄一下docker,然后在右下角點擊Terminal,打開控制臺,然后輸入下面命令,然后等待安裝完成。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安裝完成之后,我們在左側點擊Images(鏡像),點擊運行,如果需要有配置,默認即可。
點擊Container(容器),點擊
此時會打開web ui網頁,注冊open web-ui賬號即可使用。如果無法顯示,可以點擊進入容器查看
查看log日志,查看有沒有存在什么問題,或者嘗試重啟
注意(重啟電腦后,如果出現(xiàn) 500:Internal Error)
進入 Containers 頁面,選擇 open-web 項的 Actions列,點擊小三角啟動就行。
5. 安裝 Open WebUI
Open WebUI是一個可擴展、功能豐富、用戶友好的自托管 WebUI,旨在完全離線操作。它支持各種LLM運行程序,包括 Ollama 和 OpenAI 兼容的 API。Open WebUI 適配了 Ollama 接口,提供了 web 的方式來訪問 Ollama API。
5.1 安裝和啟動 open-webui
打開 open-webui 項目的 Github 倉庫
https://github.com/open-webui/open-webui:
從 README 的安裝指南找到用于 Ollama 的安裝命令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
在命令行執(zhí)行 docker 命令,自動下載并安裝 open-webui。
5.2 登錄 Open-WebUI 進入 deepseek-r1z
在瀏覽器輸入 “l(fā)ocalhost:3000/auth” 或 “http://127.0.0.1:3000”,進入 Open-WebUI 首頁。
注冊賬號密碼,創(chuàng)建管理員賬號。
注冊完成并登錄,就進入 deepseek-r1 模型的首頁:
現(xiàn)在,我們就可以用本地部署的 deepseek-r1 模型進行聊天了。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.