始智AI wisemodel.cn開源社區
始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在,歡迎加入共同成長。wisemodel社區上線,價格實惠,靈活方便,支持在線微調訓練模型,及和,并。
RWKV基金會近期連續發力,成功開源首個RWKV-7推理模型RWKV7-G1 0.1B,隨后又推出適配中低端設備運行的RWKV7-G1 0.4B模型。
RWKV7-G1 系列推理模型展現出卓越的推理能力,不僅能夠高效處理復雜邏輯問題,還原生支持全球100余種語言及代碼,為用戶帶來便捷流暢的使用體驗。
RWKV7-G1系列推理模型主要是基于 World v3.5 數據集繼續訓練 RWKV-7 "Goose" World 系列模型。World v3.5 數據集包含更多小說、網頁、數學、代碼和 reasoning 數據,總數據為 5.16T tokens。
在實際測試中,RWKV7-G1 0.4B 模型已經能夠完成難度較高的多語言和代碼任務。即使是最小的 0.1B 也能回答開放性和創造性問題。RWKV7-G1系列推理模型已上線始智AI-wisemodel開源社區,歡迎大家前去體驗。
模型地址
https://wisemodel.cn/models/rwkv4fun/RWKV-7-G1/
01.
模型評測
英語和多語言能力
RWKV7-G1 0.4B 英語和多語言能力顯著領先于同參數的開源模型:
RWKV7-G1 0.1B 的英文和多語言能力相比RWKV-7-World 0.1B繼續提升:
無法作弊的評測
Uncheatable Eval 是"無法作弊的評測",它使用最新的論文和新聞文章等實時數據,評估開源大語言模型的真實建模能力和泛化能力。
RWKV7-G1 0.4B 的 Uncheatable Eval 綜合得分在同參數規模的開源模型中處于領先地位:
RWKV7-G1 0.4B 甚至超越了部分 1.5B 模型:
RWKV7-G1 0.1B 進行“無法作弊的模型評測” Uncheatable Eval,對于多種新數據的壓縮率,顯著超越所有其它同尺寸的開源。
02.
模型表現
多語言能力
RWKV7-G1 0.4B 的多語言能力比 G1 0.1B 更強。下面是 G1 0.4B 把中文翻譯為英語和德語的推理過程和翻譯結果。
代碼能力
RWKV7-G1 0.4B 已經擁有能準確完成一些進階任務的能力,下面是使用 RWKV7-G1 0.4B 寫歸并排序的示例。
RWKV7-G1 0.1B 模型回答simulate SpaceX mars landing using python(使用 python 模擬 SpaceX 火星著陸)”:
RWKV G1 0.1B simulate SpaceX mars landing using python
日本開發者測試 RWKV7-G1 0.1B 的多語言能力:
RWKV7-G1-0.1B-jpn
Tips:對于 0.1B 模型,隨機采樣其中的 1T tokens 訓練。對于0.4B模型,隨機采樣了2T token 的數據來訓練。
編輯:成蘊年
----- END -----
wisemodel相關:
系統升級:
大賽報名:
系列模型:
關于wisemodel更多
1
歡迎持續關注和支持
開源社區建設需要長期堅持和投入,更需要廣大用戶的積極參與、貢獻和維護,歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果,包括模型、數據集和代碼等發布到 wisemodel.cn 社區,共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信,申請加入wisemodel社群,持續關注wisemodel.cn開源社區動態。
2
歡迎加盟wisemodel開源社區
始智AI wisemodel社區自2023年9月上線以來,逐漸成為影響力日益擴大的中立開放的AI開源社區,為了加快公司發展,我們長期需要技術、運營等人才加盟,技術側重在AI infra、后端開發,熟悉K8S、模型訓練和推理等技術, 以及熟悉開發者生態運營的成員,歡迎感興趣的朋友加盟,可以通過添加wisemodel微信,或者將簡歷投遞到郵箱:liudaoquan@wisemodel.cn
3
歡迎投稿優質內容
歡迎投稿分享人工智能領域相關的優秀研究成果,鼓勵高校實驗室、大企業研究團隊、個人等,在wisemodel平臺上分享各類優質內容,可以是AI領域最新論文解讀、最新開源成果介紹,也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn,也可以掃碼添加wisemodel微信。
4
關于wisemodel開源社區
始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立,旨在打造和建設中立開放的AI開源創新社區,將打造成“HuggingFace”之外最活躍的AI開源社區,匯聚主要AI開源模型、數據集和代碼等,歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者,以及政府部門、學會協會、聯盟、基金會等,還有投資機構、科技媒體等,共同參與建設AI開源創新生態。
向上滑動查看
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.