大家好，我是 Ai 學習的老章

Reddit 看到一個帖子，探討如何極限情況下運行 DeepSeek-R1-0528

《現在你可以在本地設備上運行 DeepSeek-R1-0528 了！（最低需 20GB 內存）》[1]

一、模型概述

DeepSeek-R1-0528 是 DeepSeek 推出的最新推理模型，參數規模高達 671 億（671B），性能據稱可媲美 OpenAI 的 o3 和 o4-mini-high。

原始模型需要 715GB 存儲空間，對硬件要求極高。通過 Unsloth 團隊的動態量化技術（如 1.78-bit、2-bit 等），模型大小壓縮至 168GB（約 80% 壓縮），顯著降低了運行門檻，使其可在消費級設備上運行。

此外，

二、運行完整的 671B 模型要求與性能

完整版 R1 的 GGUF 模型文件下載鏈接[2]

1. 最低配置：

• RAM：20GB（最低運行完整 671B 模型）。

• 存儲：190GB 磁盤空間（量化后 168GB）。

• 性能：約 1 token/s，適合基礎測試但速度較慢。

推薦配置：

• RAM：64GB 或更高，顯著提升體驗。

• GPU：如 RTX 3090（24GB VRAM），可達 3 tokens/s。

• 存儲：建議 200GB+ 以容納模型和臨時文件。

最佳配置：

• VRAM+RAM：總和 120GB 以上（如 1x H100 GPU），可實現 5+ tokens/s。

• 高端配置：如 3x H100 GPU（約 7.5 萬美元），速度可達 14 tokens/s，適合企業級應用。

蒸餾模型：

• 8B Qwen3 蒸餾版本適合低配設備（如 16GB RAM 的 Android 設備或 M 系列 iPad），性能接近 GPT-3/3.5，速度約 3.5 tokens/s（移動設備）或更高（桌面設備）。

完整運行指南[3]

1. 量化技術：

• Unsloth 開發了動態量化格式（如 UD-Q4_K_XL、Q2_K_L），支持多種推理引擎（如 llama.cpp、Ollama）。這些格式將模型從 715GB 壓縮至 168GB，同時盡量減少精度損失。

• 提供多種量化選項：Q8（高精度）、bf16（平衡）、Q2_K_L（低配設備優化）。

• Unsloth 文檔詳細說明了量化流程（ https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs），并支持GGUF格式（如`DeepSeek-R1-0528-GGUF:TQ1_0`） [4]

推理設置：

• 安裝：通過 Ollama 運行（如 ollama run hf.co/unsloth/DeepSeek-R1-0528-GGUF:TQ1_0）或直接從HuggingFace下載模型。

• 參數調整：推薦溫度設為 0.6 以減少輸出重復或不連貫問題。禁用“思考”模式（/no_think）可優化編碼任務。

• 框架支持：兼容 LM Studio、Ollama、MLX（Apple 設備）等，適合不同平臺。

移動設備支持：

• 8B 蒸餾模型可在 iPhone 16 Pro 或 M 系列 iPad 上通過 MLX 框架運行，但高負載可能導致過熱。Android 設備（16GB RAM）運行 7B 模型可達 3.5 tokens/s，但需優化以避免崩潰。

1. 性能與優化：

• 用戶在 RTX 5090 上運行 70B 蒸餾模型（Q4KM），速度僅 1-2 tokens/s，低于預期。Unsloth建議搭配64GB RAM 以提升性能。

• 另一用戶使用 220GB DDR4 RAM 和 2x RTX 3090（48GB VRAM）運行 131GB 模型，速度達 1.5-2.2 tokens/s，感嘆家用設備運行671B模型的突破。

• 在 32 核 Epyc CPU（無 GPU）上運行 Q4 量化模型可達 6-9 tokens/s，證明CPU推理的可行性。

模型行為：

• DeepSeek-R1 對系統提示敏感，調整提示可顯著提升輸出質量，甚至在復雜任務上超越 Gemini 2.0 Flash 和 OpenAI o1 preview。

• “越獄”測試顯示模型靈活性，如成功扮演“horny bot”，但也引發了對蒸餾模型與完整模型能力差異的討論。

硬件與成本：

• 運行完整 671B 模型需高昂硬件（如 3x H100 GPU，約 7.5 萬美元），普通用戶更傾向于蒸餾模型。

• 一位用戶使用 16 塊二手 Tesla M40（總成本約 7500 美元）運行 Q3KM 模型，速度尚可但功耗高。

• 社區討論了消費級硬件（如 RTX 3090）的性價比，建議優先選擇高 RAM 配置。

蒸餾模型爭議：

• 部分用戶質疑 Ollama 上的“DeepSeek R1”模型為 Qwen 或 Llama 的蒸餾版本，而非完整 R1。Unsloth 澄清這些是官方 8B 蒸餾模型，適合低配設備。

• 8B 模型在編碼任務中表現優異，但缺乏網頁訪問和 PDF 處理功能，需依賴外部框架。

未來期待：

• 用戶期待 DeepSeek 推出 30B 或 32B 蒸餾模型，認為其性能可能成為最佳本地模型。

• 社區提議開發類似 Claude Code 的本地代理，結合 R1-0528 的推理能力，拓展應用場景。

五、總結與展望

DeepSeek-R1-0528 通過 Unsloth 的動態量化技術實現了在消費級設備上的運行，從最低 20GB RAM 到高端 H100 配置，滿足了從個人愛好者到企業用戶的多樣化需求。8B 蒸餾模型進一步降低了硬件門檻，使移動設備用戶也能體驗大模型的威力。但完整 671B 模型存在高硬件成本、蒸餾模型與原始模型的性能差距、以及移動設備運行時的穩定性問題。未來，DeepSeek 和 Unsloth 可能通過推出中型蒸餾模型（如 30B）、優化移動端支持以及增強生態兼容性，進一步提升本地大模型的普及度。

我也在期待，DeepSeek 什么時候蒸 32B？

最后推薦一個正在學習課

制作不易，如果這篇文章覺得對你有用，可否點個關注。給我個三連擊：點贊、轉發和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！

參考資料

現在你可以在本地設備上運行 DeepSeek-R1-0528 了！（最低需 20GB 內存）》: https://www.reddit.com/r/LocalLLM/comments/1kz6tl1/you_can_now_run_deepseekr10528_on_your_local/

完整版 R1 的 GGUF 模型文件下載鏈接: https://huggingface.co/unsloth/DeepSeek-R1-0528-GGUF

完整運行指南: https://docs.unsloth.ai/basics/deepseek-r1-0528

https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs），并支持GGUF格式（如DeepSeek-R1-0528-GGUF:TQ1_0）: https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs%EF%BC%89%EF%BC%8C%E5%B9%B6%E6%94%AF%E6%8C%81GGUF%E6%A0%BC%E5%BC%8F%EF%BC%88%E5%A6%82%60DeepSeek-R1-0528-GGUF:TQ1_0%60%EF%BC%89%E3%80%82