上個(gè)月，DeepSeek悄悄做了一次更新，發(fā)布了一個(gè)小版本：DeepSeek-V3-0324。

這個(gè)版本大幅提高了在推理類任務(wù)上的表現(xiàn)水平，在數(shù)學(xué)、代碼類相關(guān)評(píng)測(cè)集上取得了超過(guò) GPT-4.5 的得分成績(jī)。

怎么做到的呢？DeepSeek官方文檔是這么說(shuō)↓

新版 V3 模型借鑒 DeepSeek-R1 模型訓(xùn)練過(guò)程中所使用的強(qiáng)化學(xué)習(xí)技術(shù)，與之前的 DeepSeek-V3 使用同樣的 base 模型，僅改進(jìn)了后訓(xùn)練方法。

這里面提到了一個(gè)詞：后訓(xùn)練。

啥是后訓(xùn)練，跟預(yù)訓(xùn)練有啥區(qū)別？

今天我們用最通俗的比喻，來(lái)講講大模型三個(gè)不同階段的訓(xùn)練方法：?預(yù)訓(xùn)練（Pre-training）?后訓(xùn)練（Post-training）?微調(diào)（Fine-tuning）。

先看預(yù)訓(xùn)練

預(yù)訓(xùn)練就是用大量的通用數(shù)據(jù)集先訓(xùn)練模型，讓它掌握基礎(chǔ)知識(shí)和技能（通用語(yǔ)言能力和世界常識(shí)，比如剛發(fā)布的Llama 4在200種語(yǔ)言上進(jìn)行預(yù)訓(xùn)練）。

這就好比我們的中小學(xué)階段，系統(tǒng)地學(xué)習(xí)語(yǔ)文、數(shù)學(xué)、英語(yǔ)等基礎(chǔ)學(xué)科知識(shí)。

這個(gè)階段數(shù)據(jù)規(guī)模龐大，訓(xùn)練成本高，周期長(zhǎng)（數(shù)萬(wàn)GPU天），比如Llama 4 Scout預(yù)訓(xùn)練就使用了40萬(wàn)億tokens數(shù)據(jù)。

想想我們小時(shí)候刷過(guò)的題、吃過(guò)的苦、花費(fèi)的時(shí)間、挨過(guò)的罵……

預(yù)訓(xùn)練的成本和時(shí)間一下子就具象化了。

再說(shuō)后訓(xùn)練

后訓(xùn)練是指在預(yù)訓(xùn)練完成后的進(jìn)一步訓(xùn)練階段，目的在于讓模型更好地適應(yīng)實(shí)際的特定任務(wù)或應(yīng)用場(chǎng)景。

這就好比高中畢業(yè)（預(yù)訓(xùn)練結(jié)束），考上大學(xué)，有了明確的專業(yè)方向，開(kāi)始強(qiáng)化專業(yè)知識(shí)。

后訓(xùn)練階段，數(shù)據(jù)規(guī)模小，通常是特定領(lǐng)域的數(shù)據(jù)（專業(yè)基礎(chǔ)課和專業(yè)課），訓(xùn)練周期短（修夠?qū)W分就行）。

回想一下你的大學(xué)生活，是不是比以前輕松多了。

不過(guò)，后訓(xùn)練往往不止一次，可能要根據(jù)實(shí)際需求，持續(xù)深造，不斷優(yōu)化。

這就好比我們上完本科，可能還要碩士、博士，持續(xù)深造，讓自己的專業(yè)能力越來(lái)越扎實(shí)。

目前，在模型后訓(xùn)練環(huán)節(jié)，比較流行的是采用強(qiáng)化學(xué)習(xí)（RL：Reinforcement Learning）的方法。比如在DeepSeek-V3小版本發(fā)布的通告里，就特別指出了自己采用了強(qiáng)化學(xué)習(xí)進(jìn)行后訓(xùn)練。

簡(jiǎn)單講，強(qiáng)化學(xué)習(xí)就后訓(xùn)練的過(guò)程中不斷告訴模型：①你做得好，繼續(xù)保持（給正反饋）；②你做的不好，趕緊改正（給負(fù)反饋）。

通過(guò)這種“獎(jiǎng)懲機(jī)制”，讓模型學(xué)習(xí)更有針對(duì)性，表現(xiàn)也更好。

但是這種”打一巴掌、給個(gè)甜棗“的方法，有時(shí)候會(huì)把模型心態(tài)搞崩，太過(guò)于追求獎(jiǎng)勵(lì)的結(jié)果了而走極端。

所以，為了避免走極端，最近流行一種新的強(qiáng)化學(xué)習(xí)方法，叫做GRPO（引導(dǎo)式正則化策略優(yōu)化），比如DeepSeek R1的訓(xùn)練就采用了這種方法。

GRPO就是在傳統(tǒng)強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)機(jī)制之上，加入一個(gè)額外的約束（正則項(xiàng)），確保和最初的“比較好的模型”不會(huì)差距太大。

這樣模型就可以平穩(wěn)地進(jìn)步，既能拿到高獎(jiǎng)勵(lì)，又不會(huì)走極端。

如此，GRPO成了當(dāng)下大模型后訓(xùn)練中，最流行的強(qiáng)化學(xué)習(xí)手段，能更安全、穩(wěn)定地提升AI的表現(xiàn)，生成的內(nèi)容更符合人類喜歡的風(fēng)格和預(yù)期。

最后說(shuō)說(shuō)微調(diào)

嚴(yán)格來(lái)講，把微調(diào)單拎出來(lái)講并不科學(xué)，因?yàn)槲⒄{(diào)其實(shí)也是模型「后訓(xùn)練」的一種方法。

不過(guò)，一般后訓(xùn)練（像前面說(shuō)的強(qiáng)化學(xué)習(xí)方法），發(fā)生在模型提供商那里。模型提供商在「預(yù)訓(xùn)練」完成以后，通過(guò)多次「后訓(xùn)練」優(yōu)化，最終把模型打造成可交付的產(chǎn)品或服務(wù)。

而微調(diào)這種「后訓(xùn)練」，通常發(fā)生在模型使用者那里（尤其是行業(yè)客戶場(chǎng)景）。

只因出徒后的大模型雖然基礎(chǔ)知識(shí)豐富、專業(yè)能力一流，可是實(shí)戰(zhàn)技巧卻是空白，到了行業(yè)場(chǎng)景沒(méi)法直接上崗。

比如——

怎么辦呢？進(jìn)行上崗培訓(xùn)，這就是微調(diào)。

微調(diào)是針對(duì)特定任務(wù)（修電腦）的訓(xùn)練，數(shù)據(jù)量小但很精準(zhǔn)、具體，老司機(jī)會(huì)把他的具體修理經(jīng)驗(yàn)交給你，讓你的知識(shí)更接地氣。

至此，一個(gè)大模型經(jīng)過(guò)預(yù)訓(xùn)練、后訓(xùn)練、微調(diào)。

終于可以上崗干活啦。

簡(jiǎn)單總結(jié)下↓

預(yù)訓(xùn)練：基礎(chǔ)知識(shí)廣泛學(xué)；

后訓(xùn)練：專業(yè)領(lǐng)域深入學(xué)；

微調(diào)：具體實(shí)操崗前學(xué)。

好了，基本概念介紹完畢。

從目前的國(guó)內(nèi)的趨勢(shì)看，做大規(guī)模預(yù)訓(xùn)練的公司會(huì)越來(lái)越少（坊間傳聞，今年上半年真正在做預(yù)訓(xùn)練的公司只有兩三家）。

未來(lái)訓(xùn)練方面的主要需求都是后訓(xùn)練和微調(diào)（當(dāng)然更大的需求是推理）。

可是說(shuō)，隨著DeepSeek的半路殺出，國(guó)內(nèi)大模型戰(zhàn)役的第一階段，已經(jīng)結(jié)束，“裸泳者”即將浮出水面。