始智AI wisemodel.cn開源社區(qū)
始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在,歡迎加入共同成長。wisemodel社區(qū)上線,價格實惠,靈活方便,支持在線微調(diào)訓(xùn)練模型,及和,并。
上周智譜AI開源了最新的 GLM 32B/9B 系列模型,涵蓋基座、推理、沉思模型,均遵循 MIT 許可協(xié)議。其中base模型經(jīng)過 15T 高質(zhì)量數(shù)據(jù)的預(yù)訓(xùn)練,其中包含大量推理類的合成數(shù)據(jù),chat模型和Z1推理模型的效果比肩 OpenAI 的 o1系列和 DeepSeek 的 V3/R1 系列,且支持非常友好的本地部署特性。此次開源的6個模型均已上線始智AI-wisemodel開源社區(qū),歡迎大家前去使用。
模型地址
https://wisemodel.cn/organization/ZhipuAI
01.
模型開源
智譜AI本次開源了 9B 和 32B 兩種尺寸的模型,包括基座模型、推理模型和沉思模型,具體信息如下:
推理模型GLM-Z1-32B-0414做到了性能與DeepSeek-R1等頂尖模型相媲美的同時,實測推理速度可達200 tokens/秒。本次開源的所有模型均采用寬松的MIT許可協(xié)議。這意味著可以免費用于商業(yè)用途、自由分發(fā),為開發(fā)者提供了極大的使用和開發(fā)自由度。
02.
基座模型性能
基座模型 GLM-4-32B-0414擁有 320 億參數(shù),其性能可與國內(nèi)、外參數(shù)量更大的主流模型相媲美。該模型利用 15T 高質(zhì)量數(shù)據(jù)進行預(yù)訓(xùn)練,特別納入了豐富的推理類合成數(shù)據(jù),為后續(xù)的強化學(xué)習(xí)擴展奠定了基礎(chǔ)。
在后訓(xùn)練階段,除了進行面向?qū)υ拡鼍暗娜祟惼脤R,我們還通過拒絕采樣和強化學(xué)習(xí)等技術(shù),重點增強了模型在指令遵循、工程代碼生成、函數(shù)調(diào)用等任務(wù)上的表現(xiàn),以強化智能體任務(wù)所需的原子能力。
GLM-4-32B-0414 在工程代碼、Artifacts 生成、函數(shù)調(diào)用、搜索問答及報告撰寫等任務(wù)上均表現(xiàn)出色,部分 Benchmark 指標(biāo)已接近甚至超越 GPT-4o、DeepSeek-V3-0324(671B)等更大模型的水平。
GLM-4-32B-0414進一步提升了代碼生成能力,可處理并生成結(jié)構(gòu)更復(fù)雜的單文件代碼。Z.ai 的對話模式內(nèi)建了預(yù)覽功能,支持對生成的 HTML 和 SVG 進行可視化查看,便于用戶評估生成結(jié)果和進行迭代優(yōu)化。
>>> 給我設(shè)計一個移動端機器學(xué)習(xí)平臺的 UI,其中要包括訓(xùn)練任務(wù),存儲管理,和個人統(tǒng)計界面。個人統(tǒng)計界面要用圖表展示用戶過去一段時間的各類資源使用情況。使用 Tailwind CSS 來美化頁面,把這 3 個手機界面平鋪展示到一個 HTML 頁面中
>>> 設(shè)計一個支持自定義函數(shù)繪制的繪圖板,可以添加和刪除自定義函數(shù),并為函數(shù)指定顏色。
>>> 用 svg 展示一個 LLM 的訓(xùn)練流程
基于上述流水線,MegaPairs合成了超過2600萬條(查詢圖像, 查詢語句, 目標(biāo)圖像)三元數(shù)據(jù)對。此外,鑒于“難負例”在訓(xùn)練檢索模型的重要性,MegaPairs對于每組挖掘的圖像對數(shù)據(jù)都選取了其他相似圖片作為難負例。
03.
推理模型性能
GLM-Z1-32B-0414是一款具備深度思考能力的推理模型。該模型在 GLM-4-32B-0414 的基礎(chǔ)上,采用了冷啟動與擴展強化學(xué)習(xí)策略,并針對數(shù)學(xué)、代碼、邏輯等關(guān)鍵任務(wù)進行了深度優(yōu)化訓(xùn)練。
與基礎(chǔ)模型相比,GLM-Z1-32B-0414 的數(shù)理能力和復(fù)雜問題解決能力得到顯著增強。此外,訓(xùn)練中整合了基于對戰(zhàn)排序反饋的通用強化學(xué)習(xí)技術(shù),有效提升了模型的通用能力。
在部分任務(wù)上,GLM-Z1-32B-0414 憑借 32B 參數(shù),其性能已能與擁有 671B 參數(shù)DeepSeek-R1 相媲美。通過在 AIME 24/25、LiveCodeBench、GPQA 等基準(zhǔn)測試中的評估,GLM-Z1-32B-0414 展現(xiàn)了較強的數(shù)理推理能力,能夠支持解決更廣泛復(fù)雜任務(wù)。
GLM-Z1-9B-0414 是一個驚喜,沿用了上述一系列技術(shù),訓(xùn)練了一個 9B 的小尺寸模型。雖然參數(shù)量更少,GLM-Z1-9B-0414 在數(shù)學(xué)推理及通用任務(wù)上依然表現(xiàn)出色,整體性能已躋身同尺寸開源模型的領(lǐng)先水平。特別是在資源受限的場景下,該模型可以很好地在效率與效果之間取得平衡,為需要輕量化部署的用戶提供強有力的選擇。
04.
沉思模型性能
GLM-Z1-32B-0414是一款具備深度思考能力的推理 沉思模型GLM-Z1-Rumination -32B -0414 代表了 智譜 對 AGI 未來形態(tài)的下一步探索。
與一般推理模型不同,沉思模型通過更多步驟的深度思考來解決高度開放與復(fù)雜的問題。其關(guān)鍵創(chuàng)新在于,它能在深度思考過程中整合搜索工具處理復(fù)雜任務(wù),并運用多種規(guī)則型獎勵機制來指導(dǎo)和擴展端到端的強化學(xué)習(xí)訓(xùn)練。該模型支持“自主提出問題—搜索信息—構(gòu)建分析—完成任務(wù)”的完整研究閉環(huán),從而在研究型寫作和復(fù)雜檢索任務(wù)上的能力得到了顯著提升。
----- END -----
wisemodel相關(guān):
系統(tǒng)升級:
大賽報名:
系列模型:
關(guān)于wisemodel更多
1
歡迎持續(xù)關(guān)注和支持
開源社區(qū)建設(shè)需要長期堅持和投入,更需要廣大用戶的積極參與、貢獻和維護,歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果,包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū),共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信,申請加入wisemodel社群,持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。
2
歡迎加盟wisemodel開源社區(qū)
始智AI wisemodel社區(qū)自2023年9月上線以來,逐漸成為影響力日益擴大的中立開放的AI開源社區(qū),為了加快公司發(fā)展,我們長期需要技術(shù)、運營等人才加盟,技術(shù)側(cè)重在AI infra、后端開發(fā),熟悉K8S、模型訓(xùn)練和推理等技術(shù), 以及熟悉開發(fā)者生態(tài)運營的成員,歡迎感興趣的朋友加盟,可以通過添加wisemodel微信,或者將簡歷投遞到郵箱:liudaoquan@wisemodel.cn
3
歡迎投稿優(yōu)質(zhì)內(nèi)容
歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果,鼓勵高校實驗室、大企業(yè)研究團隊、個人等,在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容,可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹,也可以是關(guān)于AI技術(shù)實踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn,也可以掃碼添加wisemodel微信。
4
關(guān)于wisemodel開源社區(qū)
始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立,旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū),將打造成“HuggingFace”之外最活躍的AI開源社區(qū),匯聚主要AI開源模型、數(shù)據(jù)集和代碼等,歡迎高??蒲性核?、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者,以及政府部門、學(xué)會協(xié)會、聯(lián)盟、基金會等,還有投資機構(gòu)、科技媒體等,共同參與建設(shè)AI開源創(chuàng)新生態(tài)。
向上滑動查看
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.