來源：機器之心 編輯：Panda

課件+代碼，公眾號后臺回復：大模型

斯坦福大學 2025 年春季的CS336課程「從頭開始創(chuàng)造語言模型（Language Models from Scratch）」相關課程和材料現(xiàn)已在網(wǎng)上全面發(fā)布！

• 課程視頻：https://www.youtube.com/watch?v=SQ3fZ1sAqXI&list=PLoROMvodv4rOY23Y0BoGoBGgQ1zmU_MT_

• 課程主頁：https://stanford-cs336.github.io/spring2025/

這是該課程的教職工陣容：

其中，講師 Tatsunori Hashimoto 現(xiàn)為斯坦福大學計算機科學系助理教授。此前，他是斯坦福大學 John C. Duchi 和 Percy Liang 的博士后，研究機器學習模型平均性能和最差性能之間的權衡。在博士后研究之前，他在麻省理工學院攻讀研究生，導師是 Tommi Jaakkola 和 David Gifford。他本科在哈佛大學學習統(tǒng)計學和數(shù)學，導師是 Edoardo Airoldi。他的研究成果已總計獲得了超 3 萬引用。

另一位講師 Percy Liang 是斯坦福大學計算機科學系副教授，同時也是基礎模型研究中心（CRFM）主任，同時也有參與以人類為中心的人工智能（HAI）、人工智能實驗室、自然語言處理研究組和機器學習研究組等的研究工作。他本科畢業(yè)于 MIT，之后在該校獲得工程學碩士學位，導師是 Michael Collins；之后，他在伯克利獲得博士學位，導師是 Michael Jordan 和 Dan Klein；后來他進入谷歌從事博士后研究。Percy Liang 是一位引用量超過 10 萬的研究大牛，我們此前也曾多次報道他的研究成果。

CS336 課程簡介

CS336 課程的目標是「引導學生完成開發(fā)自己的語言模型的整個過程，從而幫助他們?nèi)胬斫庹Z言模型。」該課程借鑒了操作系統(tǒng)課程中從零開始創(chuàng)建完整操作系統(tǒng)的教學方法，引導學生完成語言模型創(chuàng)建的各個環(huán)節(jié)，包括預訓練的數(shù)據(jù)收集和清理、Transformer 模型的構建、模型訓練以及部署前的評估。

該課程包含 5 個單元，分別是基礎、系統(tǒng)、擴展、數(shù)據(jù)、對齊和推理強化學習。

該課程也非常注重實踐操作，因此也需要相當多的學習和開發(fā)時間。Percy Liang 也在 上簡單分享了學生需要實踐的內(nèi)容，包括：

• 作業(yè) 1（使基本流程正常運行）：實現(xiàn) BPE 分詞器、Transformer 架構、Adam 優(yōu)化器，并在 TinyStories 和 OpenWebText 上訓練模型。只允許使用 PyTorch 原語（不能直接調(diào)用 torch. nn. Transformer 或 torch. nn. Linear）。

• 作業(yè) 2（讓 GPU 運行起來）：在 Triton 中實現(xiàn) Flash Attention 2、分布式數(shù)據(jù)并行 + 優(yōu)化器分片。

• 作業(yè) 3（Scaling Law）：使用 IsoFLOP 擬合 Scaling Law。為了模擬訓練運行的高風險，學生會獲得一個訓練 API [超參數(shù)→損失] 和一個固定的計算預算，并且必須選擇提交哪些運行來收集數(shù)據(jù)點。在后臺，訓練 API 是通過在一系列預先計算的運行之間進行插值來支持的。

• 作業(yè) 4（數(shù)據(jù)）：將 Common Crawl HTML 轉(zhuǎn)換為文本，過濾（質(zhì)量、有害內(nèi)容、PII），刪除重復數(shù)據(jù)。這是一項苦差事，卻沒有得到足夠的重視。

• 作業(yè) 5（對齊）：實現(xiàn)監(jiān)督微調(diào)、專家迭代、GRPO 和變體，在 Qwen 2.5 Math 1.5B 上運行 RL 以提升在 MATH 上的指標。我們也曾考慮過讓學生自己實現(xiàn)推理（inference），但決定（可能是明智的）讓人們使用 vllm。

更具體來說，CS336 課程的 5 個單元包含 19 門課。這里簡單總結了該課程的目錄，你可以在課程主頁下載相應的材料：

• 課程概述和 token 化

• PyTorch 和資源（包括內(nèi)存和計算資源）

• 架構與超參數(shù)

• 混合專家（MoE）

• GPU

• Kernel，Triton

• 并行化

• 并行化

• Scaling Law

• 推理

• Scaling Law

• 評估

• 數(shù)據(jù)

• 數(shù)據(jù)

• 對齊 ——SFT/RLHF

• 對齊 —— 強化學習

• 對齊 —— 強化學習

• 客座講座：阿里巴巴達摩院研究員、Qwen 團隊技術負責人 Junyang Lin（林俊旸）

• 客座講座：Facebook AI 研究科學家、Llama 3 預訓練負責人 Mike Lewis

另外，在考慮學習這門課程之前，你應該先具備以下能力：

• 熟練掌握Python：大部分課程作業(yè)將使用 Python 完成。與大多數(shù)其他 AI 課程不同，本課程只會給學生提供極少的腳手架。你編寫的代碼量將至少比其他課程多一個數(shù)量級。因此，熟練掌握 Python 和軟件工程至關重要。

• 有深度學習和系統(tǒng)優(yōu)化經(jīng)驗：本課程的很大一部分內(nèi)容是關于如何使神經(jīng)語言模型在多臺機器的 GPU 上快速高效地運行。我們希望學生能夠熟練掌握 PyTorch，并了解內(nèi)存層次結構等基本系統(tǒng)概念。

• 大學微積分、線性代數(shù)（例如 MATH 51、CME 100）：你應該能夠輕松理解矩陣 / 向量符號和運算。

• 基礎概率與統(tǒng)計（例如 CS 109 或同等課程）：你應該了解概率、高斯分布、均值、標準差等基礎知識。

• 機器學習（例如 CS221、CS229、CS230、CS124、CS224N）：你應該熟悉機器學習和深度學習的基礎知識。

順帶一提，CS336 課程還為完成課程的學生贈送了紀念 T 恤，有如下 4 種圖案。你覺得如何呢？

最后推薦一個老章正在學習的RAG課程