北京
大家好，我是Ai學習的老章
剛剛，DeepSeek 在 GitHub 上新建了open-infra-index倉庫，準備開源其內部使用的推理引擎。
根據 README.md 的描述，DeepSeek推理引擎是基于 vLLM 經過大量魔改的版本，專為 DeepSeek 自家模型優化。值得注意的是，DeepSeek 選擇了一種更為開放和協作的方式來開源這一技術。
正如 DeepSeek 在其聲明中所述："幾周前，在開源周期間，我們開源了幾個庫。社區的反響非常積極——激發了令人鼓舞的合作、富有成效的討論和寶貴的錯誤修復。受此鼓舞，我們決定再邁出一步：將我們的內部推理引擎回饋給開源社區。"
DeepSeek 坦誠地指出了直接開源其完整內部推理引擎面臨的三大挑戰：
代碼庫分歧：他們的引擎"基于一年多前 vLLM 的早期分支。盡管結構相似，但我們已經為 DeepSeek 模型進行了大量定制，使其難以擴展到更廣泛的用例。"
基礎設施依賴：引擎"與我們的內部基礎設施緊密耦合，包括集群管理工具，如果沒有重大修改，這使得公共部署變得不切實際。"
有限的維護帶寬：作為"專注于開發更好模型的小型研究團隊，我們缺乏維護大型開源項目的帶寬。"
面對這些挑戰，DeepSeek 選擇了一條更為務實的路徑——不是簡單地將魔改版本作為獨立倉庫發布，而是"與現有的開源項目密切合作"，通過"提取獨立功能"和"分享優化"的方式，將其改進直接貢獻回開源社區。
這種開源方式獲得了 vLLM 官方的高度認可，vLLM 在轉發 DeepSeek 的相關動態時附言：
@deepseek_ai 的高性能推理引擎是建立在 vLLM 之上的。現在他們正在以正確的方式開源引擎：不是創建一個單獨的倉庫，而是將變更帶給開源社區，這樣每個人都可以立即受益！
這種做法體現了真正的開源精神——不是為了彰顯自己的技術實力而創建分支，而是通過協作方式讓整個社區共同進步。
DeepSeek 在聲明的最后部分做出了一個令人振奮的承諾："我們承諾在新模型發布之前積極同步與推理相關的工程努力，目標是使社區能夠從第 0 天起實現最先進（SOTA）的支持。"
正如 DeepSeek 所言，他們的"最終目標是培養一個同步的生態系統，在官方模型發布時，可以在各種硬件平臺上無縫實現前沿 AI 能力。
制作不易，如果這篇文章覺得對你有用，可否點個關注。給我個三連擊：點贊、轉發和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
