新智元報道

編輯：LRST

【新智元導讀】NCAL是一種新的個性化學習方法，它通過優化文本嵌入的分布來解決教育數據中常見的長尾分布問題，從而提高模型對少數類別的處理能力。實驗表明，NCAL在多個模型上都取得了優異的性能提升，為個性化學習領域提供了一種新的解決方案。

當前大語言模型在教育領域展現出了巨大潛力，尤其是在個性化學習和智能輔導方面取得了顯著成功。

從知識追蹤到認知診斷，從自適應測試到對話式教學，數據驅動的個性化學習方法正逐步成為主流范式。

個性化學習方法通過分析學生的學習行為和認知特征，能夠生成個性化的診斷報告，幫助教師更好定位學生進度并識別學習瓶頸。

然而，這些方法普遍基于一個隱含假設：訓練數據是高質量且類別平衡的。

現實卻往往相反，真實場景的教育數據天然呈現嚴重的不均衡分布——就像班級里總有不同學業水平學生一樣，部分認知技能或學習行為的樣本極其豐富，而另一些則非常稀缺，這種分布失衡使得模型在處理少數類別時表現欠佳，如同一位「偏科」的老師，無法給每個學生提供同等質量的個性化支持。

針對這一關鍵挑戰，來自華東師范大學和浙江大學的聯合團隊在ICML2025上發表最新研究成果，首次將神經坍縮（Neural Collapse）理論引入個性化學習領域，提出了NCAL（Neural-Collapse-Advanced personalized Learning）方法，為解決教育數據長尾分布問題提供了全新的理論視角和實用的技術路徑。

論文地址：https://openreview.net/forum?id=W7phL2sNif

代碼地址：https://github.com/llm4edu/NCAL_ICML2025.git

NCAL不僅在各種大模型（包括中文和英文模型）上表現出一致的卓越性，更在保持計算效率的同時實現了最先進的性能，為長尾數據的處理注入全新動力。

論文作者來自華東師范大學AI4Learning實驗室，由江波教授和張敏副研究員帶領，專注于大語言模型（LLM）、生成式 AI（AIGC）、多模態模型（MLLM）、強化學習（RL）等核心技術及其在教育中的前沿應用。

長尾分布：個性化學習的隱形殺手

研究團隊通過深入分析發現，數據不平衡對模型性能的影響遠比預期嚴重，表現出現實情境下的模型對長尾數據學習的困難性。

實驗顯示，當數據平衡度τ從0.25降至0.03時（τ定義為最少類別與最多類別樣本數的比值），Qwen2.5模型的準確率從71.71%降至61.14%，性能下降超過10個百分點。

更重要的是，類別中心的分布也從相對分散變為嚴重聚集，這一幾何結構的惡化直接反映了模型表示學習能力的退化。

這一發現促使研究團隊思考一個根本性問題：如何從幾何結構的角度理解和解決數據不平衡對個性化學習模型的影響？

神經坍縮：從視覺到文本的理論遷移

神經坍縮現象最初在計算機視覺領域被發現，描述了當模型在充分大且平衡的數據集上達到零訓練誤差時，最后一層特征呈現的特殊幾何結構：

同類特征向類別中心坍縮，不同類別中心形成簡單等角緊框架（ETF）結構。

這種結構具有向量等范數和一致的成對角度等優美性質，被認為是分類任務的最優幾何配置。

NCAL整體架構

研究團隊的關鍵洞察在于：將這一理論從視覺模態擴展到文本模態，并應用于個性化學習場景。

他們定義了文本模態坍縮度（TCD）來量化文本表示的幾何結構質量：

其中，較低的ΔTCD值表示文本表示更接近理想的ETF結構。

通過這一度量，團隊建立了數據不平衡、幾何結構質量與模型性能之間的定量關系：

NCAL方法架構

基于上述理論分析，研究團隊設計了文本模態坍縮（TC）正則化機制：

這一損失函數通過顯式約束不同類別樣本間的角度關系，強制模型學習更均勻的表示空間。同時，該方法與LoRA微調框架深度集成，最終的聯合損失為：

梯度機制分析是該工作的另一技術亮點。研究團隊通過系統的梯度分析揭示了TC損失的作用機制：

對于少數類樣本，TC損失補償了任務損失中類間排斥項的主導地位；

對于多數類樣本，TC損失防止其表示在嵌入空間中的過度支配；

整體上實現了跨類別的均衡梯度更新。

這種理論驅動的設計確保了方法在不同數據分布下的魯棒性。

實驗驗證：多維度性能突破

研究團隊構建了兩個具有代表性的長尾教育數據集進行驗證：

TMWPL：基于TIMSS框架的數學認知能力評估數據集，涵蓋回憶、構建、識別等7個認知維度；

PMTD：師生對話行為分類數據集，基于IRF框架設計，包含8種對話行為類型。

主要性能結果

在兩個個性化學習的長尾數據集上，NCAL方法的實驗結果如下：

1. 跨模型一致性提升：NCAL在各種模型上均取得顯著提升

2. 參數效率優勢：7B參數的NCAL模型在兩個數據集上都超越了14B-16B規模的基線模型

3. 性能提升幅度：在TMWPL上提升13.72個百分點，在PMTD上提升4.37個百分點

未來工作方向

基于NCAL方法的成功驗證，研究團隊的工作為個性化學習領域開辟了幾個值得深入探索的方向：

理論層面的拓展

神經坍縮理論在文本模態個性化學習中的成功應用，為進一步的理論研究奠定了基礎。未來可以探索更復雜的幾何結構約束，以及在不同任務類型中的適用性。

TCD度量作為評估文本表示幾何質量的新指標，其在其他NLP任務中的有效性也值得驗證。

方法優化與擴展

當前的TC正則化機制在LoRA框架下表現優異，但與其他參數高效微調方法（如Adapter、Prefix-tuning等）的結合效果尚待探索。

此外，λ超參數的自適應調整策略，以及針對不同數據分布特征的動態優化機制，都是重要的研究方向。

跨領域泛化驗證

雖然NCAL在數學認知評估和師生對話分類任務上取得了成功，但其在語言學習、科學教育、職業技能培訓等其他教育子領域的適用性仍需進一步驗證。

特別是在不同語言、文化背景下的個性化學習場景中的表現。

總結

團隊提出了一種融合神經坍縮檢測與調控的個性化學習長尾數據處理方法，該方法在個性化學習領域取得了三個層面的重要突破：

理論創新方面，首次將神經坍縮現象從計算機視覺領域成功遷移到文本模態的個性化學習任務，建立了文本表示幾何結構與模型性能之間的定量關系。

方法貢獻方面，NCAL通過TC正則化機制巧妙地將幾何結構優化集成到LoRA微調框架中，實現了理論指導與工程實踐的完美結合。該方法具備模型無關性，可作為即插即用的組件提升現有個性化學習系統的性能。

實驗驗證方面，在兩個具有代表性的長尾教育數據集上，NCAL展現出了顯著且一致的性能提升。7B參數的NCAL模型超越了14B規模的基線模型，證明了方法的參數效率優勢。

從更廣闊的視角看，本研究為數據驅動的個性化學習向理論指導的智能教育轉變提供了重要推動力。

隨著神經坍縮等理論在教育AI中的進一步應用，有理由期待更加精準、高效、公平的個性化學習系統的出現，讓每一個學習者都能獲得真正適合自己的教育體驗。

這項工作不僅在理論上具有重要價值，更為解決AI教育中的實際問題提供了切實可行的解決方案。通過神經坍縮的引入，NCAL方法有望讓AI教育系統變得更加公平和高效，真正實現「因材施教」的教育理想。

參考資料：

https://github.com/llm4edu/NCAL_ICML2025.git