新智元報道

編輯：LRST

【新智元導讀】清華大學軟件學院發布生成式時序大模型——日晷（Sundial）。告別離散化局限，無損處理連續值，基于流匹配生成預測，緩解預訓練模式坍塌，支持非確定性概率預測，為決策過程提供動態支持。

最近，清華大學大數據系統軟件國家工程研究中心的?項時序?模型?作被ICML 2025接受為Oral?章。

論文鏈接：https://arxiv.org/pdf/2502.00816

代碼鏈接：https://github.com/thuml/Sundial

開源模型：https://huggingface.co/thuml/sundial-base-128m

在論文剛發布時，這項工作就引起了學界和業界關注。

在HuggingFace發布一周后，日晷在時序預測板塊的Trending排名第四，下載量達6k。

HuggingFace 時序預測（Time Series Forecasting）板塊

該工作的主要貢獻如下：

• 針對時序預測的非確定性，提出基于流匹配的預測損失函數，能根據歷史序列生成多條預測軌跡，并緩解時序大模型預訓練時的模式坍塌。

• 構建了首個萬億時間點規模的高質量時序數據集，發布了支持零樣本預測的預訓練模型。

• 相較統計方法和深度模型，無需專門微調在多項預測榜單取得效果突破，具備毫秒級推理速度。

時序大模型

時間序列揭示了數據隨時間的變化規律，時序預測在氣象、金融、物聯網等多個領域中發揮著重要作用。

針對時序數據的統計學習，機器學習，深度學習方法層出不窮，然而，不同方法都有各自的優勢區間：

深度學習模型雖好，但在數據稀缺時容易出現性能劣化；

統計學習方法雖快，但需逐序列擬合，缺乏泛化性。

訓練數據與模型效果的規模曲線同樣適用于時序分析

最近研究旨在構建時序大模型：在大規模時序數據上預訓練，在分布外數據上預測（零樣本預測）。

由于不需要訓練，其資源開銷主要集中在推理，速度媲美 ARIMA 等統計方法，并擁有更強的泛化性。

谷歌，亞馬遜，以及 Salesforce 等公司相繼自研時序大模型，用于在特定場景下提供開箱即用預測能力。

非確定性預測

目前業界的深度模型主要支持確定性預測：給定歷史序列，產生固定的預測結果。

然而，時序預測存在非確定性，對預測結果的把握取決于信息的充分程度。

深度學習以數據驅動的方式建模時序變化的隨機過程，實際觀測到的序列也是上述隨機過程的一次采樣。

因此，時序預測不光存在信息完備的難題，即使信息充分，未來結果也存在一定的不確定性。

決策過程往往更需要對預測結果的風險評估（例如方差，置信度等），因此概率預測能力至關重要。

預訓練模式坍塌

概率預測并非難事

均方損失函數能建模高斯先驗的預測分布，尖點損失函數（Pinball Loss）可實現分位數預測。

然而，為時序大模型賦予概率預測能力充滿挑戰：大規模時序數據往往呈現復雜多峰分布——相似的歷史序列，在不同領域/樣本中可能出現完全不同的未來變化。

時序預測的非確定性來自時序數據的分布異構性。時序數據還存在其他異構性：例如維度異構，語義異構等。目前時序大模型尚處于如何有效處理時序數據異構性的階段

在大規模時序數據的復雜異構分布上訓練，以往模型往往給出「過平滑」的預測結果（上圖右）。

雖然從優化目標來看，該結果是全局最優的，但預測結果沒有提供實際有效的信息。

作者團隊將該現象稱為時序模型「模式坍塌」，源自使用帶先驗的損失函數，限制了模型的假設空間 (Hypotheses Space)。

為緩解模式坍塌，Moirai使用混合分布處理模棱兩可的預測情況。然而，混合分布依然引入了概率先驗，不夠靈活。

亞馬遜Chronos將時間序列離散化，使用交叉熵優化學習弱先驗的多峰概率分布。

但是，交叉熵損失依賴離散化，存在精度損失和詞表外泛化（Out-of-Vocabulary）等問題，不夠原生。

日晷相較此前時序大模型的區別：（1）時序原生性：無需離散化，使用 Transformer 直接編碼連續時間值，突破語言建模（Language Modeling）（2）分布靈活性：不引入分布先驗，基于生成模型學習靈活的數據分布，突破參數先驗（Parametric Densities）

針對原生性和靈活性的矛盾，該工作深入原生連續編碼和生成式建模，提出首個基于流匹配的生成式時序大模型。

無需離散化，在連續值序列上進行處理和預測；無需假定預測分布，釋放模型對大規模時序數據的學習能力。

時序Transformer+流匹配生成

日晷模型主體為可擴展Transformer，使用重歸一化，分塊嵌入和多分塊預測等技術適配時序數據特性，并融入了FlashAttention，KV Cache等進行效率優化。

日晷可視作一種ARMA模型（自回歸和與移動平均）：Transformer自回歸地學習任意長度的時間序列表征；基于該表征，時間流（TimeFlow）將隨機噪聲轉換為非確定性預測結果

基于Transformer提取的上下文表征，研究人員提出時間流預測損失（TimeFlow Loss），將歷史序列表征作為生成條件引入到流匹配過程中。

流匹配是生成式建模的前沿技術，通過學習速度場，將簡單分布變換為任意復雜分布，從簡單分布中采樣隨機噪聲，能夠生成服從復雜分布的樣本。

所提出的損失函數不引入任何概率先驗，模型將采樣隨機性引入訓練過程，擴展了預測分布的假設空間，增強了模型的擬合能力，使其能更加靈活地處理時序數據的分布異構性，

推理時，通過多次從簡單分布中采樣，模型能夠生成多條符合歷史變化的預測軌跡；基于多條預測樣本，能夠構建預測序列的分布，從而估計預測值，方差和置信區間等。

日晷可多次采樣生成未來可能出現的情況，隱式構建預測值的概率分布，使用者可在此基礎上計算關心的分布指標，或者引入反饋信號進行調優

萬億時間點預訓練

該工作構建了領域最大的時序數據集TimeBench，由真實數據和合成數據構成，覆蓋氣象、金融、交通、能源、物聯網等多個領域，包含小時到日度等多種采樣頻率和預測時效，總計萬億（10^12）時間點。

TimeBench 由大量真實數據和少量合成數據組成，覆蓋多種時序預測的應用相關領域

在萬億數據基礎上，模型在擴展的數據量/參數規模中預訓練，驗證了生成式時序大模型的「規模定律」。

不同參數規模的模型訓練曲線

預測榜單效果

日晷在多項榜單中進行了測試，涵蓋多種輸入輸出長度，包含點預測以及概率預測場景：

• GIFT-Eval 榜單：日晷的零樣本預測能力超過此前Chronos，Moirai，以及分布內訓練的深度模型。

GIFT-Eval 為 Salesforce 發布的預測榜單，包含24個數據集，超過144,000個時間序列和1.77億個數據點，跨越7個領域，10種頻率，涵蓋多變量，短期和長期的預測場景

• FEV 榜單：日晷大幅超過 ARIMA 等統計方法，取得了與 Chronos 相當的效果，僅需1/35的推理時間。

GIFT-Eval 為 AutoGluon 發布的預測榜單，包含27個數據集，指標從左到右依次為：概率預測（WQL），點預測（MASE）和推理時間（ms）

• Time-Series-Library 榜單：日晷取得了第一的零樣本預測效果，隨參數規模擴大，效果持續提升。

開箱即用模型

目前 HuggingFace 上開源了基礎模型，僅需不到十行代碼，就可調用模型進行零樣本預測，并提供了均值預測，分位數預測，置信區間預測等示例。

模型可在CPU上直接推理，生成多條預測結果的時間不到一秒。

總結與展望

日晷結合了連續值編碼、Transformer和生成式預測目標，緩解了時序數據預訓練的模式坍塌問題。通過萬億規模預訓練和工程效率優化，模型提供了開箱即用預測能力和毫秒級推理速度。

所提出的生成式預測范式有望擴展時序模型的應用前景，使其成為許多行業的決策工具。

未來，該工作計劃探索在多變量預測場景下的訓練和微調技術，融入特定場景下的機理知識和決策反饋，進一步釋放時序大模型的泛化性和可控性。

參考資料：

https://arxiv.org/abs/2502.00816