99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

國產大模型年前集中爆發,Kimi新模型k1.5對標OpenAI o1滿血版(附帶技術報告解讀)

0
分享至

大洋彼岸的 OpenAI 遲遲沒有發布 GPT-5,一度讓業界懷疑 Scaling Law 是否已經失效。然而,國內多個團隊卻接連推出重磅 AI 大模型,用事實證明 Scaling 依然有效,只不過并不是無腦堆硬件、堆算力。

Kimi k1.5的這次推出的大模型就是以推理能力見長的模型。

不知道你們有沒有注意到Recipe這個詞,在Kimi k1.5的技術報告提到了好多次,它的意思是「菜譜」,相當于說把一道菜需要的原材料、炊具以及注意事項都明明白白告訴你了。

技術報告鏈接:

https://github.com/MoonshotAI/Kimi-k1.5/blob/main/Kimi_k1.5.pdf


可以說,一向閉源的Kimi這次的技術報告可以理解為「半開源」,就像把西紅柿雞蛋的做法一步步的列出來,你模仿它的方法即可,唯一不同的就是具體的操作差異。

比如你的火力大一點兒,鍋的材質不同等等,并且Kimi k1.5的性能在好幾個方面的性能都已經事實上的超過了OpenAI o1滿血版,可以說是含金量非常高的一次「半開源」。

特別是OpenAI o3,也就是在FrontierMath這個非常難的數學測試集上達到了變態成績后的幾周,被曝出暗中資助了這個比賽的丑聞。


如果o3是靠在數據集和答案上預訓練出來的,那么它這種既當運動員也當裁判員的操作,也才拿到了25%左右的正確率,這只能證明o3僅是o1的特殊微調版,只是用來維持OpenAI紙面榮譽的工具。

那Kimi k1.5的含金量就直線上升了,long CoT在Math數學推理,Code編程能力以及Vision視覺多模態上的表現,4/6超過了最強的o1正式版模型。

Kimi k1.5還用了Long2short的方法,將Long CoT的能力遷移到Short CoT上,也在大多數的任務上達到了SOTA的水平,最牛的是在AIME的Pass@1實驗中,效果遠超其他幾家(第一個子圖藍色的Kimi獨樹一幟)。


特別是Long2short之后迭代出來的幾個short CoT,在下面這兩個數學數據集上的性能甚至超過了long CoT,可見CoT可以深挖甚至scaling的地方還有很多。


這些數據基本上表明了OpenAI o1滿血版的性能全面在Kimi k1.5上實現,更重要的是Kimi K系列的快速迭代能力,從初代 Kimi k0 math 到Top級別的 Kimi 1.5,就倆月多點,直接數學偏科到全科專精。

其中第一個長上下文是最近發布的幾個大模型的共性,因為初代LLM的思路簡單直接,就是一問一答,單步操作;

但是后來發現這樣的單步操作對于比較復雜的問題,比如數學物理等需要更多邏輯思考且一步完不成的任務,就需要思維鏈(CoT)這樣的技術,相比起初代LLM,推理大模型可以將復雜的任務分成簡單的單步任務進行。


這樣的好處很直接,不過缺點也很明顯,那就是這些思考過程明顯是需要更多的“記憶力”,換到LLM大模型領域就是上下文長度了,理論上越長越好,最近發布的MiniMax-01就把上下文長度記錄拉到了400萬。

Kimi k1.5并沒有在極限上下文上做文章,而是將long context長度定為128K,然后用Partial Rollout的方法重復利用歷史記錄,而不是重新生成,這樣的策略從結果上表明非常有效。


再加上如果用過OpenAI o1的話,很多簡單的問題o1會出現過度思考(overthinking)的現象,其實這也是一種對于計算能力的浪費以及策略不夠優化的表現。

菜譜也提到了這個點,他們采用了長度懲罰(Length Penalty)的措施,倒逼大模型跟人類對齊,畢竟人類不會對一個簡單問題思考6分鐘。


最后,我特意看了看Kimi微信公眾號對于自己新模型的介紹,開頭的一句話特別契合Kimi k1.5這個模型。


簡單的方法在很多時候被認為是取巧的,但事實支配上人類社會以及整個自然界運轉的規律都是非常簡潔且優雅的,既不存在無限資源這種美夢,也沒有出現普遍的窮思竭慮。

總的來說,Kimi k1.5的這次更新,無疑將中國的大模型和國外最頂尖的OpenAI差距拉到了幾乎同一個水平線,同時這次的「半開源」更是給AI 大模型社區注入了一些「做菜秘訣」,相信這些東西可以讓整個大模型社區的進化速度更進一步。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
河北一新郎接親,被堵在門外,淡定的看女方家屬鬧,直言不著急

河北一新郎接親,被堵在門外,淡定的看女方家屬鬧,直言不著急

觀察鑒娛
2025-06-23 10:14:12
裝都不裝了?染發,臟話,臭臉,何炅10年前對她的評價一一應驗

裝都不裝了?染發,臟話,臭臉,何炅10年前對她的評價一一應驗

大笑江湖史
2025-06-12 23:00:30
王室不敢給凱特王妃制造意外,當初戴安娜出車禍,王室差點被推翻

王室不敢給凱特王妃制造意外,當初戴安娜出車禍,王室差點被推翻

小嵩
2025-06-23 09:13:52
中美博弈進入深水區,中國不動聲色地抽走籌碼,連拋百億美債

中美博弈進入深水區,中國不動聲色地抽走籌碼,連拋百億美債

閆樹軍論評
2025-06-23 09:42:35
第21波來了,4輪齊射連中7枚,福爾多再被炸,內塔:“哭墻”祈禱

第21波來了,4輪齊射連中7枚,福爾多再被炸,內塔:“哭墻”祈禱

史行途
2025-06-23 17:59:16
獎金+奢侈稅分紅2390萬美金!雷霆奪冠大賺,太陽繳稅1.52億最慘

獎金+奢侈稅分紅2390萬美金!雷霆奪冠大賺,太陽繳稅1.52億最慘

李喜林籃球絕殺
2025-06-23 14:57:29
440架俄軍機直撲基輔,澤連斯基求援無門,普京拿下烏8州倒計時?

440架俄軍機直撲基輔,澤連斯基求援無門,普京拿下烏8州倒計時?

陳博世財經
2025-06-23 14:43:19
相貌平平,卻總演央視大劇,還能搭檔李幼斌,馬藜到底什么來頭?

相貌平平,卻總演央視大劇,還能搭檔李幼斌,馬藜到底什么來頭?

塞外書語
2025-06-05 11:31:30
一些自媒體賬號被禁,曾稱西方現代科學抄襲自《永樂大典》

一些自媒體賬號被禁,曾稱西方現代科學抄襲自《永樂大典》

長平投研
2025-06-23 08:05:10
廣西一女子約閨蜜家中做客,不料引狼入室,洗澡時丈夫趁機出軌

廣西一女子約閨蜜家中做客,不料引狼入室,洗澡時丈夫趁機出軌

一個人講故事
2024-08-03 21:04:20
美媒爆:美軍襲擊伊朗核設施前,伊朗曾向美透風,若遭襲將啟動美境內“潛伏分子”發動襲擊

美媒爆:美軍襲擊伊朗核設施前,伊朗曾向美透風,若遭襲將啟動美境內“潛伏分子”發動襲擊

環球網資訊
2025-06-23 08:46:35
馬克龍的46歲醫生弟弟罕見露面,哥倆長得像,卻很“疏遠”

馬克龍的46歲醫生弟弟罕見露面,哥倆長得像,卻很“疏遠”

譯言
2025-06-23 09:58:30
小伙90萬彩禮娶老婆不讓碰還跑了,全網維權曝女生照片這長相真的值嗎…

小伙90萬彩禮娶老婆不讓碰還跑了,全網維權曝女生照片這長相真的值嗎…

浪花媽媽
2025-06-22 23:52:48
莆田“百萬新娘”騙婚后續:錢可能要不回來,女方是二婚,沒領證

莆田“百萬新娘”騙婚后續:錢可能要不回來,女方是二婚,沒領證

娜烏和西卡
2025-06-23 18:14:47
國有銀行薪酬改革,覆蓋面將擴大!

國有銀行薪酬改革,覆蓋面將擴大!

挖掘機007
2025-06-23 13:53:51
七月財運大爆發!這三個生肖將徹底翻身,恭喜發財!

七月財運大爆發!這三個生肖將徹底翻身,恭喜發財!

毅談生肖
2025-06-23 13:46:23
“事出反常必有妖”:竟然有高手總結了中國的現狀,絕了!

“事出反常必有妖”:竟然有高手總結了中國的現狀,絕了!

詩詞中國
2025-06-22 14:46:30
上海目前存在的最大的問題在哪里?

上海目前存在的最大的問題在哪里?

叮當當科技
2025-06-23 13:29:09
馬景濤暈倒后首現身,說話有氣無力眼神失焦前妻曝其為新女友累倒

馬景濤暈倒后首現身,說話有氣無力眼神失焦前妻曝其為新女友累倒

深析古今
2025-06-23 15:18:24
克拉拉真空西服長裙,散發一種精致的韓系財閥美人特有的味道

克拉拉真空西服長裙,散發一種精致的韓系財閥美人特有的味道

吃瓜黨二號頭目
2025-06-17 10:04:22
2025-06-23 23:20:49
平凡AI incentive-icons
平凡AI
高校AI從業者
26文章數 23關注度
往期回顧 全部

科技要聞

售出千萬臺!他卻說"只想做下一代AI終端"

頭條要聞

玉淵譚天:美軍轟炸伊朗的武器僅美國有 但掏空了老本

頭條要聞

玉淵譚天:美軍轟炸伊朗的武器僅美國有 但掏空了老本

體育要聞

比起雷霆三少,他才是真正隊魂

娛樂要聞

魏大勛和秦嵐沒分手!

財經要聞

以伊沖突升級,對經濟和股市影響有多大?

汽車要聞

真香價格+質保承諾 別克E5很難讓人拒絕了

態度原創

游戲
藝術
教育
公開課
軍事航空

數毛社《死亡擱淺2》評測:本世代畫質最佳游戲之一!

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

教育要聞

南京新民辦——海門模式的代表,南京江北新城高中發來邀請函!

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

伊朗:即便核設施被毀 游戲也遠未結束

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 饶平县| 洞口县| 札达县| 襄城县| 皮山县| 龙山县| 渝北区| 离岛区| 湘西| 鄂托克旗| 教育| 科技| 芜湖市| 浙江省| 克东县| 高碑店市| 浑源县| 崇文区| 临猗县| 侯马市| 海原县| 共和县| 南华县| 襄垣县| 镇远县| 内乡县| 无为县| 平泉县| 康乐县| 驻马店市| 乐安县| 新巴尔虎右旗| 微山县| 灯塔市| 乌苏市| 惠州市| 合肥市| 鄯善县| 崇礼县| 来凤县| 乌拉特中旗|