企業(yè)可受益低成本AI開源模型逐漸逼近閉源優(yōu)勢
人工智能因開發(fā)成本過高,故門檻也高,但DeepSeek出現(xiàn)后,有更多挑戰(zhàn)者加入市場。舊金山AI創(chuàng)業(yè)公司Deep Cogito最近推出Cogito v1全新開源大型語言模型(LLM)系列,基于Meta Llama 3.2微調(diào),有混合推理力,快速回答問題,或像OpenAI的o系列和DeepSeek R1能“反思”。
Deep Cogito核心在獨(dú)特訓(xùn)練法──蒸餾和增強(qiáng)(IDA),與傳統(tǒng)人類反饋強(qiáng)化學(xué)習(xí)(RLHF)或教師模型蒸餾不同,IDA分配更多計算資源產(chǎn)生解決方案,然后將推理過程蒸餾至模型參數(shù),創(chuàng)建反饋循環(huán)。Deep Cogito CEO兼聯(lián)合創(chuàng)辦人Drishan Arora比喻為Google AlphaGo自我對弈,只不過改用于自然語言處理。
Deep Cogito首批模型系列有五種基本規(guī)模:30億、80億、140億、320億和700億參數(shù)。已在AI程序代碼共享網(wǎng)站Hugging Face、Ollama、Fireworks和Together AI應(yīng)用程序編程接口(API)開放。遵循Llama條款,允許商業(yè)使用,第三方企業(yè)可用于付費(fèi)產(chǎn)品,每月用戶數(shù)不超過7億,超過需向Meta取得付費(fèi)許可。Deep Cogito幾個月內(nèi)會發(fā)布更大模型:參數(shù)高達(dá)6,710億。
基準(zhǔn)測試結(jié)果,Cogito模型通用知識、數(shù)學(xué)推理和多語言任務(wù)都表現(xiàn)優(yōu)異。Cogito 3B(標(biāo)準(zhǔn)模式)在MMLU測試比LLaMA 3.2 3B高6.7個百分點(diǎn)(65.4%對58.7%),推理模式,Cogito 3B在MMLU得分72.6%,ARC得分84.2%,超過自身標(biāo)準(zhǔn)模式,展示基于IDA的反思效果。更大規(guī)模Cogito 8B(標(biāo)準(zhǔn)模式)在MMLU得分80.5%,比LLaMA 3.1 8B高12.8個百分點(diǎn)。
Cogito模型原生支持工具調(diào)用,是代理和API集成系統(tǒng)日益重視的功能。Cogito 3B支持四種工具調(diào)用(簡單、并行、多重和并行多重),LLaMA 3.2 3B不支持。Cogito 3B簡單工具調(diào)用得分為92.8%,多重工具調(diào)用超過91%。
Deep Cogito開源混合推理模型顯示開源商業(yè)許可的特性使企業(yè)能低成本部署高性能AI模型,無需負(fù)擔(dān)昂貴的專有模型訂閱費(fèi)。對中小企業(yè)而言,降低AI應(yīng)用門檻,更容易業(yè)務(wù)自動化和智能化。同時混合推理能力給企業(yè)更靈活A(yù)I應(yīng)用場景,需要快速回應(yīng)的客戶服務(wù)場景中,標(biāo)準(zhǔn)模式可以提供即時答案;而在涉及復(fù)雜問題解決或決策支持的場景中,推理模式能夠提供更深入的分析和更可靠的結(jié)果。企業(yè)可以根據(jù)不同業(yè)務(wù)需求,靈活切換模型的工作模式,提高整體效率和準(zhǔn)確性。
工具調(diào)用原生支持也使企業(yè)開發(fā)更復(fù)雜AI時更方便。企業(yè)可將Cogito模型與系統(tǒng)和API集成,開發(fā)更強(qiáng)操作功能的AI助理或代理人,從查詢資訊到操作無縫過渡。客服AI不僅回答問題,還能直接查詢訂單系統(tǒng)、更新客戶資訊或觸發(fā)特定流程。對有技術(shù)力的企業(yè),Deep Cogito蒸餾和增強(qiáng)(IDA)提供值得研究的方向。企業(yè)可嘗試用類似方法,根據(jù)特定范疇數(shù)據(jù)和任務(wù)優(yōu)化基礎(chǔ)模型,開發(fā)更適合業(yè)務(wù)場景的專業(yè)AI系統(tǒng)。
Deep Cogito出現(xiàn)與技術(shù)路線反映AI界幾個關(guān)鍵趨勢。首先,開源LLM性能差距快速縮小,甚至某些方面超越封閉模型。趨勢可推動更多企業(yè)采開源AI解決方案,促進(jìn)開源生態(tài)系統(tǒng)成熟。AI自我改善將成為下階段競爭焦點(diǎn)。Deep Cogito的IDA代表減少依賴人類監(jiān)督,將來可能會看到更多類似自我優(yōu)化出現(xiàn),推動AI系統(tǒng)向更高層次自主性發(fā)展。
模型規(guī)模也繼續(xù)增長,但更重要的是訓(xùn)練法和架構(gòu)創(chuàng)新。Deep Cogito之后671B參數(shù)模型是開源界的里程碑,但真正價值在如何創(chuàng)新訓(xùn)練法使大模型發(fā)揮更大效用。混合推理能力也將成為標(biāo)準(zhǔn)規(guī)格,將來AI系統(tǒng)能自主決定何時需深入思考,何時直接回應(yīng),在效率和準(zhǔn)確性間取得平衡。
開源AI生態(tài)系統(tǒng)蓬勃發(fā)展代表AI成本持續(xù)下降,功能提升。現(xiàn)在是時候開始規(guī)劃如何將先進(jìn)開源模型集成至業(yè)務(wù)流程,以取得競爭優(yōu)勢。企業(yè)也應(yīng)關(guān)注AI自我提升能力進(jìn)度,為將來更強(qiáng)大自主AI系統(tǒng)做好準(zhǔn)備。
(首圖來源:shutterstock)
#創(chuàng)業(yè)# #模型公司# #開放源代碼# #deep# #人工智能#
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.