新智元報道

編輯：KingHZ

【新智元導讀】全球網友用閑置顯卡組團訓練大模型。40B大模型、20萬億token，創下了互聯網上最大規模的預訓練新紀錄！去中心化AI的反攻，正式開始。OpenAI等巨頭的算力霸權，這次真要涼了？

互聯網上最大規模的預訓練來了！

Nous Research宣布正式推出Psyche網絡（Psyche Network），通過去中心化方式革新人工智能（AI）訓練。

Psyche網絡利用區塊鏈技術，匯聚全球計算資源，成功啟動了40B參數大語言模型Consilience的預訓練任務，總計20萬億token，創下了迄今為止互聯網上最大規模的預訓練紀錄。

大語言模型Consilience采用DeepSeek V3的多頭潛在注意力（MLA）架構，相較于Llama使用的GQA架構更具表達力，同時通過優化QKV投影矩陣減少計算開銷。

三種注意力的對比

Psyche利用全球閑置的計算資源（如4090、A100和H100等消費級GPU），大幅降低訓練成本。

通過并行實驗，Psyche鼓勵開源社區提出新的模型架構和訓練方法，未來可能催生更多創新。

Psyche網絡技術原理圖，核心在于DisTrO優化器與Solana區塊鏈

過去，人們總覺得「AI模型的去中心化訓練」不過是一種幻想，尤其在那些超越了愛好者規模的語言模型面前更是如此。

但幾項關鍵技術突破——尤其是并行化和強化學習——正在逐漸打破這種局限，讓除了OpenAI、Anthropic這類大公司之外的小型團隊也開始進入這個賽道。

現在看來，聰明的算法可以彌補基礎設施的不足，而像Nous Research這樣的去中心化參與者正希望抓住這個機會。

砸碎算力墻

近年來，AI模型的訓練逐漸被大型科技公司壟斷。

訓練一個前沿模型需要數千個高性能GPU和超高帶寬的集群，這使得普通研究者或小型團隊幾乎無法參與。

這種集中化趨勢不僅限制了創新，還可能導致少數科技去投壟斷甚至控制AI模型。

集中式AI，可能會少數科技巨頭「比你更了解你自己」。

Hermes系列中規模最大的模型——Hermes 3 405B，是在基礎的Llama 3.1模型上進行微調完成的。

整個訓練過程動用了128塊H100 GPU，耗時約16小時（總計約2,086GPU小時）。

從成本上看其實并不離譜——目前租用8塊H100的計算節點每小時大約在16到24美元之間，因此一次完整訓練的開銷大約在5,000美元左右。

作為Nous Research Hermes系列的最新迭代，Hermes 3 405B自Llama-3.1 405B的全參數微調模型，

但如果我們想更進一步，想得更大呢？

畢竟，Hermes目前還是依賴Llama作為基礎模型。

如果我們不再依賴已有的模型，而是從零開始構建自己的基礎模型，那我們就需要更龐大的“船”了。

要以更大規模、低成本地實現類似的訓練成果，確實面臨不少挑戰，尤其是當訓練從集中化的GPU集群轉向基于互聯網的去中心化網絡時。

Nous Research提出了Psyche網絡的解決方案：通過去中心化的方式，讓全球的計算資源參與AI模型訓練，降低進入門檻，推動AI發展的民主化。

Nous Research的Psyche網絡成功實現了去中心化的AI訓練，開創了一個全新的模式。

Psyche不僅降低了AI開發的門檻，還推動了全球協作和創新。

Consilience模型的預訓練只是起點，未來Psyche網絡有望成為AI民主化的重要基石，為開源社區和小型團隊提供與科技巨頭抗衡的機會。

用DisTrO解決帶寬瓶頸

在去中心化訓練中，網絡帶寬一直是最令人擔憂的問題之一。

在傳統的數據中心里，GPU之間通過極高帶寬的連接（如NVLink或InfiniBand）相連，帶寬可達每秒幾百Gb（千兆位）。

而相比之下，互聯網上的志愿者節點，往往只有幾十甚至幾百Mb（兆位）每秒的帶寬。

質疑者認為，這種高達100倍甚至1,000倍的帶寬差距，會讓跨互聯網的AI訓練變得無比緩慢、幾乎不可能。

畢竟，傳統的訓練方式需要GPU之間持續地交換更新信息，而如果試圖用普通家用網絡來完成這些通信，很可能會陷入「災難級」的訓練體驗。

在此前對DeMo（Decoupled Momentum Optimization）的研究基礎上，Nous推出的DisTrO技術，能夠讓所有訓練節點保持高度同步，同時將所需帶寬降低1,000到10,000倍。

2024年12月，Nous與多位合作伙伴一起，在封閉測試網中，訓練了一個150億參數的基礎模型，并成功驗證了多項理論設想：

• 首次將DisTrO優化器系列大規模應用于訓練任務

• 驗證了節點中途掉線和新增節點時的容錯能力

• 證明了增加訓練節點確實能提升整體訓練速度

這次實驗標志著分布式、去中心化訓練邁出了從理論走向現實的關鍵一步。

區塊鏈+AI

在硅谷的一些圈子里，「加密」這個詞幾乎成了貶義詞，而Nous一直努力保持與AI開發者之間的開放交流橋梁不被切斷。

也正因如此，他們這次將Psyche搭建在區塊鏈上，是一個值得關注的重要轉變。

Psyche將成為Nous用于預訓練、微調和部署下一代模型的平臺。

通過將技術棧遷移到Solana區塊鏈，Nous希望釋放區塊鏈的以下三大優勢：

• 無需許可：任何人都可以貢獻計算資源

• 彈性與高可用性：不再依賴中心化基礎設施

• 激勵機制：協調并獎勵為網絡作出貢獻的參與者

將這一協議向整個市場開放，意味著任何人都能擁有其中的一部分。而其潛在的擴展性之大，顯然已經讓不少極客興奮不已。

計劃概覽

Nous的初期目標是先上線一個封閉測試網（Phase 0），驗證是否能在Solana上運行一個更大規模、分布式、具備容錯能力的DisTrO系統。后續階段會逐步引入更高級的功能。

在Phase 0階段，貢獻者可以攜帶自己的GPU加入進來（明確提到支持4090、A100和H100等型號），并開始獲得獎勵。此階段會對參與者進行篩選，以防止惡意行為者加入。

一旦系統穩定運行，權限將逐步開放，允許不同類型的計算資源（無論是專業的還是消費級的）自由接入網絡，協助訓練Llama、Diffusion等不同類型的模型架構。

強化學習后訓練階段

強化學習（Reinforcement Learning，RL）不依賴于預先準備好的數據集，而是通過模型與環境直接互動來學習。

每個節點如果做出有助于模型進化的行為，就會獲得正反饋，反之則獲得負反饋。

由于這些節點可以異步運行，分布式訓練在強化學習框架下反而運行良好。

每個節點可以獨立行動，收集經驗，并定期與其他節點分享進展。

這極大緩解了傳統訓練中常見的「同步難題」，特別是在硬件能力和網絡延遲差異大的情況下。

通過RL，Psyche上的預訓練模型可以進一步學會推理能力和領域知識。

而每個Psyche節點在訓練過程中的表現都將影響它的獎勵：計算能力更強或使用了更先進訓練方法的節點，可能會獲得更多代幣激勵。

區塊鏈：回歸初心

在常常被斥為「過度炒作又頻頻令人失望」的區塊鏈生態中，能看到真正的創新成果，確實令人欣慰——簡直讓人「冷漠的靈魂也重新燃起了熱情」。

這一切，真的令人感到振奮。

Nous并不是一開始就擁抱區塊鏈技術的，相反，他們幾乎是被「拖著、踢著、喊著」走上了這條路——

但原因很簡單：區塊鏈確實是解決他們問題最合適的工具。

他們需要一種方式，不論對方來自哪里，都能吸引計算資源與人才并進行公平支付；區塊鏈，在這一點上表現得無比出色。

他們需要一種手段，能夠協調并擴展大規模訓練任務；而協調與擴展，正是區塊鏈技術的「第二天性」。

他們還需要一種不受停電、封禁、宕機等影響的托管機制，能讓項目「打不死」、無法被關閉；在這方面，區塊鏈（這次不再是諷刺）也的確提供了最可靠的保障。

而最值得欣慰的是：這一次，人們選擇區塊鏈，不是出于投機炒作，而是出于對實際問題的認真思考與真實需求的回應。

如果Psyche成功了，它不僅將證明去中心化訓練是切實可行的，更是回歸初心：為取代的集中化計算，提供了強有力的工具。

參考資料：

https://x.com/NousResearch/status/1922744483571171605

https://nousresearch.com/nous-psyche/

https://x.com/563defi/status/1909976170990313594