IT之家 5 月 30 日消息，科技媒體 marktechpost 昨日（5 月 29 日）發(fā)布博文，報(bào)道稱蘋果公司攜手杜克大學(xué)，提出交錯(cuò)推理（Interleaved Reasoning）的全新強(qiáng)化學(xué)習(xí)（Reinforcement learning，RL）方法，進(jìn)一步提升大語言模型的推理能力。

主流大語言模型在處理多步復(fù)雜問題時(shí)，常采用“先思考后回答”的長鏈?zhǔn)酵评矸绞健Ｈ欢@種方法存在兩大痛點(diǎn)：一是響應(yīng)時(shí)間過長，難以滿足實(shí)時(shí)交互需求；二是早期推理步驟出錯(cuò)可能導(dǎo)致最終答案偏差。

研究人員指出，與人類在對(duì)話中隨時(shí)分享部分想法不同，模型往往等到推理全部完成才輸出結(jié)果，導(dǎo)致效率不高。

蘋果公司攜手杜克大學(xué)，研發(fā)了交錯(cuò)推理技術(shù)，讓模型在推理過程中交替進(jìn)行內(nèi)部思考和輸出中間答案（sub-answer），從而提升速度與實(shí)用性。

交錯(cuò)推理基于強(qiáng)化學(xué)習(xí)（RL）框架，采用特殊的訓(xùn)練模板，包含 和 < answer > 標(biāo)簽，確保模型在達(dá)到關(guān)鍵推理節(jié)點(diǎn)時(shí)輸出中間結(jié)果。

研究團(tuán)隊(duì)設(shè)計(jì)了基于規(guī)則的獎(jiǎng)勵(lì)機(jī)制，包括格式、最終準(zhǔn)確率和條件性中間準(zhǔn)確率，確保模型注重整體正確性。

測試中，交錯(cuò)推理在 Qwen2.5 模型（1.5B 和 7B 參數(shù)）上表現(xiàn)優(yōu)異，響應(yīng)速度提升超 80%，準(zhǔn)確率提高高達(dá) 19.3%。

此外，該方法僅在問答（QA）和邏輯數(shù)據(jù)集上訓(xùn)練，卻能在 MATH、GPQA、MMLU 等更具挑戰(zhàn)性的基準(zhǔn)測試中展現(xiàn)強(qiáng)大泛化能力。

研究還嘗試了多種獎(jiǎng)勵(lì)策略，如全或無、部分積分和時(shí)間折扣獎(jiǎng)勵(lì)，其中條件性和時(shí)間折扣獎(jiǎng)勵(lì)效果最佳，顯著優(yōu)于傳統(tǒng)方法。

IT之家附上參考地址