今天，Kimi 發(fā)布視覺思考模型 k1，在最新版 App 和 Web 端上線了。

k1 模型基于強化學(xué)習(xí)技術(shù)打造，原生支持端到端圖像理解和思維鏈技術(shù)，并將能力擴展到數(shù)學(xué)之外的更多基礎(chǔ)科學(xué)領(lǐng)域。

真格基金于 2023 年天使輪投資月之暗面。自 2023 年 10 月 Kimi 發(fā)布，不斷升級基礎(chǔ)模型能力，提供更豐富的產(chǎn)品功能與交互。在一年的時間里每月使用 Kimi 的用戶，從幾萬增長到幾千萬，幾乎增長了驚人的 1000 倍。我們期待在未來與 Kimi 和更多用戶一起共創(chuàng)智能。

「觀看先于言語。孩子在學(xué)會說話之前，就已經(jīng)會觀察和識別了。」

Ways of Seeing, John Berger

今天，Kimi 發(fā)布視覺思考模型 k1。k1 模型基于強化學(xué)習(xí)技術(shù)打造，原生支持端到端圖像理解和思維鏈技術(shù)，并將能力擴展到數(shù)學(xué)之外的更多基礎(chǔ)科學(xué)領(lǐng)域。在數(shù)學(xué)、物理、化學(xué)等基礎(chǔ)科學(xué)學(xué)科的基準(zhǔn)能力測試中，初代 k1 模型的表現(xiàn)超過了全球標(biāo)桿模型 OpenAI o1、GPT-4o 以及 Claude 3.5 Sonnet。

Kimi 新模型發(fā)布即上線。k1 視覺思考模型已陸續(xù)上線最新版「Kimi 智能助手」的 Android 和 iPhone 手機 APP 以及網(wǎng)頁版 kimi.com。在最新版手機 APP 或網(wǎng)頁版 Kimi+ 頁面找到「Kimi 視覺思考版」，即可拍照或傳圖體驗。

「Kimi 視覺思考版」會完整呈現(xiàn)推理思維鏈 CoT，讓用戶不只看到答題結(jié)果，也能完整看到模型思索答案的全過程。

01

強化學(xué)習(xí)的規(guī)模化

AI 大模型行業(yè)的技術(shù)范式正在發(fā)生變化，我們已處于強化學(xué)習(xí)的新時代。就像人類在遇到難題時，并不是立即給出答案，而是先分析問題、探索不同的解決方案、嘗試各種方案、反思、改進策略和反復(fù)嘗試一樣?；趶娀瘜W(xué)習(xí)技術(shù)的新一代模型，通過激勵模型生成更詳細(xì)的推理步驟，形成高質(zhì)量的思維鏈 CoT（Chain of Thought），顯著提升了解決更復(fù)雜、更難任務(wù)的成功率。數(shù)據(jù)顯示，在強化學(xué)習(xí)技術(shù)的助推下，AI 大模型的智力水平正在持續(xù)攀升，在很多領(lǐng)域已經(jīng)達到或超過人類專家的水平。

我們把基于強化學(xué)習(xí)技術(shù)的新一代模型，稱為思考模型。過往，思考模型主要是基于文本數(shù)據(jù)訓(xùn)練的。但基礎(chǔ)科學(xué)領(lǐng)域的大量信息蘊藏在圖像和圖形信息里。如何將思考能力與圖像理解能力更緊密得融合，同時為用戶帶來更流暢的交互體驗，是一項重要的技術(shù)挑戰(zhàn)。

今天我們發(fā)布和上線的 k1 視覺思考模型，真正意義上實現(xiàn)了端到端的圖像理解和思考能力。模型可以直接處理用戶輸入的圖像信息并進行思考得出答案，不需要借助外部的 OCR 或額外視覺模型進行信息處理，用戶體驗和效果都達到了新的高度。

從模型訓(xùn)練的角度看，k1 視覺思考模型的訓(xùn)練分為兩個階段，先通過預(yù)訓(xùn)練得到基礎(chǔ)模型，再在基礎(chǔ)模型上進行強化學(xué)習(xí)后訓(xùn)練。k1 的基礎(chǔ)模型重點優(yōu)化了字符識別能力，在 OCRBench 上得到 903 分的當(dāng)前最好（state-of-the-art）結(jié)果，在 MathVista-testmini、MMMU-val 和 DocVQA 基準(zhǔn)測試集上分?jǐn)?shù)分別為 69.1、66.7 和 96.9，處于全球第一梯隊水平。

k1 的強化學(xué)習(xí)后訓(xùn)練在數(shù)據(jù)質(zhì)量和學(xué)習(xí)效率方面做了進一步優(yōu)化，在強化學(xué)習(xí)的規(guī)模化（scaling）上取得了新的突破，這是 k1 視覺推理模型在基準(zhǔn)測試中取得行業(yè)領(lǐng)先成績的最關(guān)鍵原因。

此外，科學(xué)的模型能力基準(zhǔn)測試方案是大模型行業(yè)面臨的重要挑戰(zhàn)之一。由于市面上缺乏針對基礎(chǔ)科學(xué)學(xué)科的圖形測試集，Kimi 模型研發(fā)團隊自主構(gòu)建了一個標(biāo)準(zhǔn)化的測試集 Science Vista，涵蓋不同難度的數(shù)理化圖片題目，且從分布上與實際用戶需求較為匹配。該測試集將開放給全行業(yè)，點擊鏈接即可申請在許可范圍內(nèi)使用：https://forms.gle/uWFFWfMVkzsRNsNv9。

在內(nèi)部測試中，我們也發(fā)現(xiàn)了一些 k1 視覺思考模型存在的局限性，例如在分布外（out-of-distribution）的泛化、在更復(fù)雜問題上的成功率、在更多噪聲場景的準(zhǔn)確率、多輪問答效果等方面，有很大提升空間。在一些場景和泛化能力上，k1 模型與 OpenAI 的 o1 系列模型相比仍有差距。

02

基礎(chǔ)科學(xué)能力泛化

該模型數(shù)學(xué)能力出眾，但由于主要支持 LaTeX 等格式的文本輸入，依賴圖形理解能力的部分幾何圖形題則難以應(yīng)對。

新的 k1 視覺思考模型，借助端到端的圖像理解能力，解鎖了包括幾何圖形題在內(nèi)更加全面的數(shù)學(xué)能力。在不同階段的幾何和圖形題專項基準(zhǔn)能力測試中，k1-preview 成績追平或超過了 OpenAI 的 o1 模型。

我們先來一道普通幾何題，讓 k1 視覺思考模型先小試牛刀：

上下滑動查看思維鏈 CoT，長按可下載

除了數(shù)學(xué)能力，k1 視覺思考模型將能力擴展到了物理、化學(xué)等領(lǐng)域。在基礎(chǔ)科學(xué)學(xué)科教育階段的物理和化學(xué)能力測試中，k1 模型的表現(xiàn)同樣不輸全球領(lǐng)先的玩家 OpenAI 和 Anthropic。

我們來看一道 k1 視覺思考模型解答經(jīng)典物理電路題的例子：

上下滑動查看思維鏈 CoT，長按可下載

接下來，我們來看一個 k1 視覺思考模型化學(xué)領(lǐng)域技術(shù)原理的例子。我們將一張曾獲得諾貝爾化學(xué)獎的技術(shù)原理圖去掉大部分文字說明，只留下「QD」兩個字母，看 k1 是如何一步一步分析出原理圖是在講什么。

上下滑動查看完整思維鏈 CoT，長按可下載

03

獨具慧眼

在真實場景下，用戶輸入給模型的圖像信息往往存在各種各樣的噪聲，包括照片灰暗、圖像模糊、多題一起拍、手寫字跡干擾、純手寫的題目、傾斜的拍攝角度等。

我們專門測試了更接近真實使用場景的 k1 模型表現(xiàn)。在「噪聲」場景下，多個基礎(chǔ)科學(xué)學(xué)科的基準(zhǔn)測試數(shù)據(jù)顯示，k1 模型相比 OpenAI 和 Anthropic 的視覺語言模型，有更顯著的領(lǐng)先優(yōu)勢。其他大部分模型在視覺噪聲場景下，能力水平下降了一半多，k1 則依靠超強的視覺識別能力，保持了最低的能力損失幅度。

我們來看一個例子。

下圖是一位同事在平板電腦上手動推演的公式。

看看 k1 模型是怎么一步一步分析出作者意圖的。

上下滑動查看思維鏈 CoT，長按可下載

03

不懂就拍

在發(fā)布數(shù)學(xué)推理模型 k0-math 時，我們發(fā)現(xiàn) Kimi 數(shù)學(xué)版不只會做數(shù)學(xué)題，它還會用數(shù)學(xué)思維來解釋任何問題。比如你問「一顆心值多少錢」，Kimi 數(shù)學(xué)版經(jīng)過一番分析，可能給出讓我們驚喜的答案：一顆心是無價的。

在學(xué)習(xí)了代數(shù)、幾何、物理、化學(xué)、生物等更多基礎(chǔ)科學(xué)的難題之后，我們發(fā)現(xiàn) k1 視覺思考模型同樣涌現(xiàn)出更多通用能力。

例如，我們在網(wǎng)上找到一份科學(xué)家的手稿照片，發(fā)給 Kimi 視覺思考版，看它如何一步一步，引人入勝地推理手稿的內(nèi)容和背景故事：

我：

一步步推測一下這個筆記的作者是誰，筆記內(nèi)容具體在講什么

Kimi 視覺思考版：

好的，讓我們一步步解開這個謎題。我手中有一張古老筆記的圖片，需要弄清楚作者的身份以及筆記的內(nèi)容。這確實像是一場歷史與文字的探險，令人興奮不已！

首先，我仔細(xì)觀察這張圖片。這是一張泛黃的紙張，上面布滿了用墨水書寫的文字，文字排列得密密麻麻，顯得十分工整。有些地方還有手繪的插圖，可能是星圖或類似的圖案。整體來看，這似乎是一份科學(xué)或天文學(xué)的筆記。

筆記的開頭用大號字體寫著「Ser.mo Principe.」，這在意大利語中意為「最尊貴的王子」。這表明作者在向某位顯赫的人物致意，可能是當(dāng)時的統(tǒng)治者或貴族。接下來的幾行文字提到了「Galileo Galilei」，這無疑是一個重要的線索。伽利略·伽利略是意大利的著名天文學(xué)家、物理學(xué)家和工程師，被譽為「現(xiàn)代觀測天文學(xué)之父」。這讓我更加確信，這份筆記與伽利略有著密切的聯(lián)系。

繼續(xù)往下看，筆記中提到了「Accademia dei Lincei」，這是意大利最古老的科學(xué)學(xué)會之一，伽利略正是其創(chuàng)始成員之一。這進一步證實了這份筆記的科學(xué)背景。筆記中還提到了「Padova」，即帕多瓦，這是意大利東北部的一座城市，伽利略曾在那里擔(dān)任教授。這些地名和機構(gòu)的提及，為確定作者和內(nèi)容提供了重要的線索。

接下來，我注意到筆記中有一些日期，如「Anno 1610」，這是 1610 年。這一年對伽利略來說具有重要意義，因為他正是在這一年發(fā)表了《星際信使》，這是他通過望遠(yuǎn)鏡觀測到的天文發(fā)現(xiàn)的集合。筆記中還提到了「Siderius Nuncius」，這正是《星際信使》的拉丁文標(biāo)題。這讓我更加確信，這份筆記是伽利略在 1610 年寫給某位顯赫人物的信，內(nèi)容涉及他的天文觀測結(jié)果。

再仔細(xì)觀察筆記中的插圖，可以看到一些星圖和符號。這些插圖與伽利略通過望遠(yuǎn)鏡觀測到的月球表面、木星的衛(wèi)星等天文現(xiàn)象密切相關(guān)。這些觀測結(jié)果在當(dāng)時引起了巨大的轟動，因為它們支持了哥白尼的日心說，即地球和其他行星圍繞太陽運行的理論。

綜上所述，這份筆記很可能是伽利略·伽利略在 1610 年寫給某位顯赫人物的信，內(nèi)容涉及他的天文觀測結(jié)果，特別是他在《星際信使》中發(fā)表的發(fā)現(xiàn)。這份筆記不僅具有重要的科學(xué)價值，也是伽利略個人歷史的重要見證。

為了驗證我的假設(shè)，我決定深入研究伽利略在 1610 年的生活和工作。1610 年，伽利略在帕多瓦大學(xué)擔(dān)任數(shù)學(xué)教授，并且剛剛開始使用望遠(yuǎn)鏡進行天文觀測。他發(fā)現(xiàn)了木星的四顆主要衛(wèi)星，這一發(fā)現(xiàn)對支持哥白尼的日心說具有重要意義。這一發(fā)現(xiàn)不僅證明了并非所有天體都圍繞地球運行，也進一步推動了天文學(xué)的發(fā)展。

筆記中提到的「Ser.mo Principe」可能是伽利略試圖獲得支持或認(rèn)可的貴族或統(tǒng)治者?？紤]到伽利略與美第奇家族的關(guān)系，尤其是科西莫二世·德·美第奇，他是托斯卡納的大公，這一假設(shè)顯得尤為合理。伽利略將他的發(fā)現(xiàn)獻給科西莫二世，以獲得他的支持和認(rèn)可。

然而，我仍需謹(jǐn)慎。或許還有其他貴族或?qū)W者與伽利略有過類似的交流。為了進一步驗證，我仔細(xì)檢查了筆記中的其他線索。筆記中提到了「Accademia dei Lincei」，這是伽利略所屬的科學(xué)學(xué)會。這一細(xì)節(jié)進一步證實了這份筆記與伽利略的聯(lián)系。

此外，筆記中的日期「Anno 1610」與伽利略的《星際信使》出版時間相吻合。《星際信使》是一本小冊子，伽利略在其中描述了他的天文觀測結(jié)果，包括月球表面的山脈、木星的衛(wèi)星和銀河系的星云。這些發(fā)現(xiàn)徹底改變了人類對宇宙的理解。

現(xiàn)在，我對這份筆記的來源更加確信。它很可能是伽利略在 1610 年寫給科西莫二世·德·美第奇的信，目的是分享他的天文發(fā)現(xiàn)并尋求支持。筆記中的插圖與《星際信使》中的插圖相似，進一步證實了這一點。

伽利略在 1610 年寫了許多信件，描述他的觀測結(jié)果，尤其是關(guān)于木星衛(wèi)星的發(fā)現(xiàn)。這些信件通常包含草圖和注釋，與我正在分析的筆記非常相似。

經(jīng)過這一徹底的分析，我確信這份筆記的作者是伽利略·伽利略，內(nèi)容是關(guān)于他在 1610 年通過望遠(yuǎn)鏡進行的天文觀測，特別是他發(fā)現(xiàn)木星的衛(wèi)星。這份筆記是伽利略與當(dāng)時的科學(xué)界和貴族分享他的革命性發(fā)現(xiàn)的重要歷史文件。

因此，總結(jié)我的發(fā)現(xiàn)：

筆記的作者：伽利略

筆記的內(nèi)容：描述伽利略在 1610 年通過望遠(yuǎn)鏡進行的天文觀測，包括木星衛(wèi)星的發(fā)現(xiàn)，以及他尋求當(dāng)時貴族支持和認(rèn)可的嘗試。

答案：這份筆記是由伽利略·伽利略撰寫的，內(nèi)容涉及他在 1610 年的天文觀測，包括木星衛(wèi)星的發(fā)現(xiàn)，以及他尋求當(dāng)時貴族支持和認(rèn)可的嘗試。

我們相信，圖像理解和思考能力，將會解鎖 Kimi 更廣泛的使用場景。未來，用戶不僅遇到不懂的題目，可以隨手拍給 Kimi，而且在社交軟件上看到不認(rèn)識的城市或建筑照片、不熟悉的熱帶水果、看不明白的草書毛筆字、看不懂的梗圖、看不懂的科學(xué)家手稿……都可以嘗試發(fā)給 Kimi 視覺思考版，讓 Kimi 與大家一起探索答案。

我們會持續(xù)提升 Kimi 視覺思考版的各方面能力，讓它變得更加「可靠」、更加「萬能」。你可能已經(jīng)發(fā)現(xiàn)了，Kimi 主產(chǎn)品之前也全面升級了圖像理解能力。

Kimi 新模型 k1 發(fā)布即上線。歡迎下載最新版手機 APP 或在 Kimi 網(wǎng)頁版（kimi.com）體驗新模型。Kimi 期待與你一起探索更大的世界。