OSCHINA

DeepSeek 今天 在其 GitHub 倉(cāng)庫(kù) 發(fā)布預(yù)告 稱 ，即將開源推理引擎DeepSeek Inference Engine。

考慮到代碼分支和維護(hù)資源等問(wèn)題，他們選擇了直接和 vLLM 等現(xiàn)有開源項(xiàng)目合作的方式進(jìn)行開源。

也就是說(shuō)，DeepSeek 不會(huì)發(fā)布獨(dú)立的開源倉(cāng)庫(kù)，而是將變更反饋給開源社區(qū)。

下面是 DeepSeek 官方公告：

幾周前，在開源周期間，我們開源了幾個(gè)庫(kù)。社區(qū)的反應(yīng)非常積極 —— 激發(fā)了許多鼓舞人心的合作、富有成效的討論和寶貴的錯(cuò)誤修復(fù)。 受到這一鼓舞，我們決定再邁出一大步：將我們的內(nèi)部推理引擎貢獻(xiàn)給開源社區(qū)。 我們對(duì)開源生態(tài)系統(tǒng)深表感激，沒有它，我們向通用人工智能（AGI）的進(jìn)步將不可能實(shí)現(xiàn)。我們的訓(xùn)練框架依賴于 PyTorch，我們的推理引擎建立在 vLLM 之上，這兩者都在加速深度探索模型的訓(xùn)練和部署方面發(fā)揮了至關(guān)重要的作用。 隨著對(duì)部署 DeepSeek-V3 和 DeepSeek-R1 等模型的需求不斷增長(zhǎng)，我們希望盡可能地為社區(qū)做出貢獻(xiàn)。雖然我們最初考慮開源我們的完整內(nèi)部推理引擎，但我們發(fā)現(xiàn)了一些挑戰(zhàn)： 代碼庫(kù)改動(dòng)大：我們的引擎基于一年多前的 vLLM 早期分支。盡管結(jié)構(gòu)相似，但我們已經(jīng)為 DeepSeek 模型進(jìn)行了大量定制，這使得它難以擴(kuò)展到更廣泛的應(yīng)用場(chǎng)景。 基礎(chǔ)設(shè)施依賴：該引擎與我們的內(nèi)部基礎(chǔ)設(shè)施緊密耦合，包括集群管理工具，這使得在沒有重大修改的情況下進(jìn)行公開部署變得不切實(shí)際。 維護(hù)資源有限：作為一個(gè)專注于開發(fā)更好模型的中小研究團(tuán)隊(duì)，我們?nèi)狈S護(hù)大型開源項(xiàng)目的資源。 鑒于這些挑戰(zhàn)，我們決定與現(xiàn)有的開源項(xiàng)目合作，作為更可持續(xù)的替代方案。 未來(lái)，我們將與現(xiàn)有的開源項(xiàng)目緊密合作，以： 提取獨(dú)立功能：模塊化并貢獻(xiàn)可重用的組件作為獨(dú)立庫(kù)。 分享優(yōu)化：直接貢獻(xiàn)設(shè)計(jì)改進(jìn)和實(shí)現(xiàn)細(xì)節(jié)。

詳情查看：

https://github.com/deepseek-ai/open-infra-index/blob/main/OpenSourcing_DeepSeek_Inference_Engine/README.md

↓分享、在看與點(diǎn)贊~Orz