始智AI wisemodel.cn開源社區

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。wisemodel社區上線，價格實惠，靈活方便，支持在線微調訓練模型，及和，并。

數學不僅是邏輯的演繹，更是創造的結晶。從黎曼度量到微分流形，從群論到拓撲空間，數學史上的每一次重大突破都源于創造性的飛躍。同濟大學數學科學學院DeepMath團隊發起了一項開源計劃，旨在訓練一個開源的數學大模型，探索大模型在前沿數學研究中的應用潛力。

近期，DeepMath團隊開源發布了一個全新的數學評測集：DeepMath-Creative，重點評測主流大模型的數學創造能力。相關數據集已上線始智AI-wisemodel開源社區，歡迎使用。

數據集地址

https://wisemodel.cn/datasets/deepmath/DeepMath-Creative/file

01.

數學創造力的本身是什么

當前，大語言模型在數學領域的評測工作主要集中在推理能力上，各類評測集也多聚焦于初等水平的數學題。然而，真正的數學研究更需要創造性思維。通過深入研究，團隊提出從三個維度系統評估數學創造性思維：

1.概念維度

正如黎曼度量重構了微分幾何的研究范式，群論重塑了代數結構的研究方法，真正的概念創新能開辟全新的數學疆域。然而，這類創造往往需要深刻的數學直覺，目前大模型的表現仍難以企及。

2.方法維度

新方法的提出為解決復雜問題提供了強有力的工具，例如廣義函數論的提出使得人類突破經典函數框架的局限，在偏微分方程等領域取得了豐碩成果。我們的評測發現，大模型在方法創新上表現出一定的重組能力，但真正的原創性方法仍難以企及。

3.例子維度

Milnor怪球、Weierstrass函數等經典數學例子表明，構造數學例子在推動理論發展中具有獨特價值。

02.

DeepMath-Creative評測集介紹

1.設計原則：

團隊構建了具有以下特點的評測框架：

- 雙向探究式問題設計：每個問題都采用"若成立請證明，若不成立請舉反例"的開放形式

- 多學科覆蓋：覆蓋代數、分析、拓撲等多學科

- 難度梯度：本科水平與研究生水平的合理配比

經過多名數學專家組成的團隊嚴格篩選，最終形成包含179道高質量題目的評測集，其中包含兩部分：證明題，構造反例題。

2.具體評分規則：

3.評測結果與啟示

在評測過程中，只關注模型輸出最重要的“得分點”，忽略許多小錯誤。在如此極其寬松的評分標準下，當前模型的表現為：

- 最優模型O3 Mini準確率70%

- 主要錯誤類型：

- 方向誤判

- 構造缺陷

- 論證冗余

其中得分較高的數學題目均為難度不是很高的數學問題，在較為復雜的數學問題上，模型的表現急速下降。這些結果表明，大模型在數學創造力方面仍處于初級階段，特別是在：

- 對抽象數學概念的深刻理解

- 復雜例子的構造能力

- 論證的簡潔性和優美性

主流大模型的評測結果

模型輸出的錯誤實例

----- END -----

wisemodel相關：

系統升級：

大賽報名：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看