編者按：6月20日，主題為《數生智能，構建算存共同體》的專場直播在益企研究院視頻號成功舉辦。益企研究院創始人張廣彬（狒哥）主持了此次活動，與北京大學計算中心系統管理室主任樊春、希捷科技中國區市場營銷負責人俞康、超聚變算力業務首席創新架構師梁永貴等行業專家進行了深入交流。

本文為此次直播的精彩觀點整理，部分內容有刪減。觀看直播全文，請訪問益企研究院視頻號，觀看直播回放。

人工智能快速發展的大背景下，如何看待算力與存力的關系？

益企研究院創始人張廣彬

樊春：計算和存儲就是相輔相成的，就像我們單位過去 60 多年一直叫北京大學計算中心。但是最近20多年大家聽得更多的應該是數據中心，近些年開始有叫算力中心的。從國家管理的角度來說，在國家層面還是叫數據局、大數據局，叫計算的比較少。總體來說，還是強調以數據為核心，圍繞數據的加工轉換進行。

北京大學計算中心系統管理室主任樊春

狒哥的確如此，數據中心行業的歷史并沒有我們想象的那么長，歷史上也有被稱作計算中心、網絡中心等等。不糾結名字的話，我們現在更關注的是AI和算力、存力之間的內容。

梁永貴算力和存力其實都是在圍繞數據服務。隨著大模型的發展，模型參數的指數級增長，大家能夠感受到對算力的急劇的需求，這導致了算力設施的價格飆升。但是隨著大模型技術研究的深入，大家越來越發現要充分發揮AI的性能，僅僅提升算力并不足夠，還需要在存力上進行協同。因此，存力也變得非常關鍵，算力與存力的協同發展，這幾年備受重視。

超聚變算力業務首席創新架構師梁永貴

首先，此前在大模型訓練時，大家更關注算力成本，但是在今年稀疏性技術降低了對算力的需求，存儲的成本開始凸顯。很多開源的技術方案也在逐漸證實可以通過優化數據存儲的路徑，優化緩存策略，優化存儲效率，從而整體顯著提升大模型訓練的性價比。隨著AI技術的進一步深入發展，算力在不斷的提升，對存力也提出了一些新的要求，包括要求存力能夠提供更龐大的數據處理能力，或者更強的數據擴展能力。此外，在算力強大了之后，對數據的讀寫速度、讀寫帶寬、讀寫延時，都提出了更高的要求。因此，在未來的AI發展過程中，會更加注重算力與存力的協同優化，包括通過軟件和硬件的深度融合，然后實現計算資源和存儲資源的動態調配以及高效利用。同時，AI技術的發展本身也會服務于存儲系統，讓存儲系統變得更加智能，包括智能識別數據的訪問模式、數據的重要性、數據的冷熱程度等，以提升存儲的能力，更好地為AI的算力發展提供服務。

狒哥對，算力、算法、數據這三駕馬車不可偏廢。

俞康在AI的發展過程中，存儲越來越受到關注。根據IDC的數據，到2028年，數據總量將會增長到394 ZB，其中AI會生成100 ZB，占數據總量的25%，這就意味著AI對于存儲的挑戰非常大，不僅是容量，還有能耗、性能、穩定性等等。

希捷科技中國區市場營銷負責人俞康

更重要的是，隨著AI的發展和數據重要性的凸顯，很多國家在強調數據主權，已經有150左右的國家在指定相關的法律法規來管理數據主權，他們希望自己國家生產出來的數據留在所在國的管理權限之下。

全世界有10000個左右的數據中心，80%的數據中心座落在10個國家內，按照數據主權的要求，其他的國家會出現大規模的數據中心建設浪潮。

中國很多互聯網企業都在籌劃出海，其中有一個需求就是需要在運行的國家建設數據中心，以存儲相關的運行數據。

希捷的目標就是致力于AI的數據基礎設施，所謂無存儲不AI。希捷希望能夠跟北京大學、超聚變等更多的合作伙伴一起來建設更好的生態，幫助企業建立一個更好的數據基礎設施底座，推動AI更穩定、更高效。

大模型發展的不同場景，對算力與存力有什么不一樣的需求？

樊春：大模型發展的場景，整體來說，大的部分就分為兩個，訓練階段和推理階段。在訓練階段，又可以分為前期數據收集和整理和針對海量數據進行挖掘、壓縮，形成模型參數這兩個場景。

在收集階段，數據需求量非常大，但是對算力需求就不夠密集。到了訓練階段的第二步驟，就是迭代、優化參數時，讓參數更能反映客觀世界的知識，將海量數據壓縮到參數里面存儲，這個過程應該是計算更加密集型，對計算的需求量更大。

之后是推理階段，根據模型的不同大小，對算力的需求和存儲需求也是不一樣的。
狒哥：樊老師提到的很重要的一點，就是在數據的預處理或者說前處理的階段。我們益企研究院在年初聯合希捷撰寫了一本白皮書，叫做《AI時代的存儲基石》，在寫作的過程中，我們發現，整體而言，在大模型的訓練過程中，大家在預處理方面提及不夠多，顯得對這個階段的重視程度不太夠，不知道這是不是一個普遍現象？

梁永貴：我覺得在訓練階段，算力和存力這兩方面都會面臨很高的壓力。在訓練階段，首先對算力的需求很大，之前有數據表明，訓練一個千億的模型，需要數千臺的AI服務器，持續運行20天以上，對算力的壓力非常大；同時，在存力方面，由于訓練的時候需要大量數據，以及訓練過程中的checkpoint（檢查點）的數據，以及相關的各種結構化、非結構化的數據量都非常巨大，可能都在PB級甚至EB級的這種數據，這些數據對存儲也會造成巨大的壓力。要求存儲具備高帶寬、低時延的能力。

同時，在推理階段，對算力的需求相對而言小一些，但是這個階段會更關注算力和存力之間的均衡。

在算力需求方面，如果是萬億參數規模的大模型，他們除了依賴高算力之外，還要通過稀疏算法、壓縮技術等來降低對算力的要求。

其實現在隨著大模型的發展，已經有一些達到了萬億參數的規模，使用單芯片的算力已經到極限，單靠算力的堆疊也很難繼續，因此大家已經會考慮轉向存力方面去發揮，也就是以存代算概念出現的背景。

這樣的話，企業就能夠減少對算力的需求，當然同時也會把壓力轉移到了存儲上面，但是二者之間如果要一個更好的性價比，就需要做好算力和存力之間的平衡。

因此，在存儲方面，企業需要依賴更高的IOPS、更低的時延；對于大規模的應用，需要考慮更長期的歷史對話，以分級的冷熱數據將其存下來，包括存儲到HDD上面來降低整體成本。

狒哥：以存代算是一個很好的思路。那么，存儲企業該如何做好應對呢？

俞康從希捷的角度來說，一直都做好了相關的準備。在大模型的基礎設施架構上，就是兩大塊，一個是計算集群，包括一些高性能的處理器，CPU、GPU、HBA、HBM、DRAM、SSD等；另外一個就是存儲集群，應用最后產生的數據，都會到存儲集群中，它就是網絡的HDD或者SSD。

計算集群對時延要求高，在納秒級；而存儲集群的時延在毫秒級就可以。最終數據都是會流向大容量硬盤，作為長期的保存。
樊春我們學校也建立了很多計算集群和存儲集群，為學校進行科研和教學的服務。存儲集群是始終受到特別關注的，因為計算集群壞了一兩個節點，并不影響整體任務的運行，而存儲集群一旦損壞，基本上計算集群就不能工作了。因此，我們會尤其關注存儲集群的穩定性、可靠性和性能，當然還有關注存儲集群的節能水平。

在AI的生命周期中，哪個環節的數據存儲需要受到加倍的重視？

俞康聊到生命周期，并不只是說有一個既定的出生時間和死亡時間，我們認為它有一個循環，就是類似于莫比烏斯的那個環，它是一個整體循環，是一個不斷螺旋的增長過程。

從一開始，AI需要很多的數據，即數據源，它可能是需要PB級甚至EB級的高質量、大批量的數據，這就有對存儲的巨大空間需求；然后再訓練、推理環節，有checkpoint環節，以及歷史數據的回溯、模型的優化等需求，都需要很多的存儲空間。

等模型完成，在生成數據環節，數據生產出來之后也需要存儲，可能需要很多長期存儲，對存儲集群的需求也許會更大，很多數據最終都會流向大容量硬盤。當然，這些數據將來又會反哺到模型的訓練中。

這就是一個整體的循環過程，是一個整體的生命周期。歷經循環之后，模型訓練就會越來越智能，越來越聰明。

狒哥對，這種無限循環，并螺旋向上的過程，希捷有一張很好的圖片，我一直很喜歡，就是下面這張。我們在《AI存儲白皮書》中也用到了。

樊春在大模型訓練整個過程中，數據不僅像生命生長的過程，更像是一個輪回，一遍又一遍的周而復始，并且在這個過程中提升。這幾年有一個很著名的科研成果叫做AlphaFold，這是一個關于蛋白質結構的問題。它的模型的基礎，一方面是分子動力學等理論作為基礎，另外一方面在于很多的數據，來自冷凍電鏡測量的結構數據。包括施一公、顏寧等科學家都是通過冷凍電鏡的數據分析出關鍵的生物結構，在這個過程中，AlphaFold就是利用這些科學家分析出來的結構訓練而成。

每一個結構是原始采集而來的照片而成，在形成AlphaFold的時候，已經有數以萬計甚至十萬計的三維分子結構，而每一個三維結構又可能是幾萬、上百萬甚至上千萬的圖片進行合成計算的成果，這就會涉及到幾十萬倍的數據。因此，盡管AlphaFold是一個不太大的模型，但是它的數據源從底座開始到得到分析結果，需要的是一個海量的存儲空間。

狒哥從數據生命的輪回到蛋白質的結構所需要的存儲，樊老師的例子深入淺出，很好的講述了存儲的價值。

梁永貴數據的確重要，在AI中，如何設計數據的存儲方案？我們認為，應該要從四個方面入手，數據的采集和預處理、訓練、推理、模型的迭代。

數據的采集和預處理這部分業界強調的不多，但是原始數據的確是需要清洗、標注和格式化等才能夠正常使用。因此，對于存儲來說，它就要求必須具備高吞吐和低延時的能力，并且容量要大，還需要支持彈性的擴容。

其次，在模型的訓練階段，重點是高頻的文件讀寫和并發，這是為了避免GPU等待數據，以避免算力的空轉。

第三個，在推理階段，現在很多的技術重點在于KV Cache（鍵值緩存）的管理，以便提升KV Cache的調度速度和存儲速度，以便提升推理的響應效率和時間。在這種情況下，就特別要關注鍵值存儲的性能。

最后，在模型的迭代階段，企業希望將自己的數據應用到AI中，比如說利用RAG技術，它也是一個迭代過程，它可能會用到一些冷數據，那就需要企業的存儲具備冷熱數據的分級能力，甚至對于冷數據有壓縮的能力，以降低存儲的成本。在這種場景下，HDD就會有很大的作用。

面對AI帶來的算力和存力挑戰，該如何創新以應對？

俞康希捷一直在布局，如何為AI時代爆炸性增長的數據奠定更好地數據基礎底座。不像之前大家所熟悉的硬盤迭代，只是1TB、2TB的容量增長，甚至到了一定的階段之后，容量要增長，只能往里面放置更多的碟片。而希捷不一樣，希捷在做持續的創新，在這個領域可以算是世界領先。在去年，希捷發布了一個新的平臺魔彩盒3+（Mozaic 3+）。它基于新的技術HAMR（熱輔助磁記錄），能夠大幅度地提升單碟片面密度。

梁永貴對于超聚變而言，一直致力于做全球領先的算力服務和算力基礎設施提供商。超聚變一直在多個維度推出相關技術和新產品，在算力基礎設施領域，我們最近推出了FusionPoD for AI整機柜液冷服務器，它通過液冷技術降低能耗，提升算力效能，適配大模型訓練所需要的高密度算力。

在標準液冷服務器市場，超聚變已經連續兩年中國市場份額第一，也牽頭成立了液冷AI開放聯盟，參與了液冷整機柜服務器行業標準等，推進液冷產業高質量發展。

此外，除了服務器之外，超聚變也在內存池化等方面進行了深入的研究，在行業內率先推出了內存池化的解決方案，它能夠提供超大容量的內存，將內存與算力解耦，供多個節點進行彈性分配，且內存中的數據多個節點可以直接共享的方式來訪問數據，這可以極大地縮短數據在各個節點之間的網絡傳輸時間。

狒哥：我們在《AI時代的存儲基石》中也引用了希捷的另外一張圖片，其中提到相關的數據從處理器到HBM、DRAM、本地SSD、網絡SSD和網絡HDD等。其中DRAM、CXL等都能池化，這個圖還有迭代更新的空間。

梁永貴：對，內存的獨立和池化趨勢，現在已經是業界的共識。只是該技術的大規模應用還需要更多廠家的參與，推動整個生態的建設。針對存算協同的需求，以及針對大模型帶來的存儲挑戰，超聚變也推出了FusionServer 5298 V7，它是新一代4U2路機架服務器，能夠支持最多60塊硬盤，也將會支持希捷的最新魔彩盒3+，屆時它的存儲容量將達到新高。這樣就能夠更好地滿足分布式存儲、大數據、歸檔等業務的需求。AI也會用到一些歷史數據，那么歸檔存儲就能夠更好的滿足海量數據的需求。

通過FusionServer 5298 V7提供的存儲容量，能夠降低每單位存儲成本，對于客戶來說是很好的降低成本、提升競爭力的方案。
狒哥其實CXL、HAMR這些技術并不是最近才開始研究的，但是到真正成熟到能夠被應用，需要相當長的一段時間。比如說，HAMR技術，什么時候才能夠真正商用、大規模量產？以及面對的是什么樣的市場？

俞康其實希捷應用了HAMR（熱輔助磁記錄）技術的魔彩盒已經在去年上市，并且從發貨量上來看，已經是發貨了100萬片給超大規模云計算廠商。我們跟超聚變也已經展開了合作。

梁永貴希捷的魔彩盒3+（Mozaic 3+），在超聚變已經通過了產品的引入測試，很快就能夠投入到生產中，為將來的AI發展提供有力的支持。

在跟希捷的合作過程中，我們共同發現高可靠、低功耗、大容量的硬盤，是新一代智能架構的剛需。從超聚變的測試情況來看，希捷的魔彩盒3+（Mozaic 3+），不僅能夠實現更優的單位空間存儲能力，還能夠實現每PB存儲成本的大幅度降低和TCO的降低。以及，在數據中心整體功耗控制、運維效率等方面都會有顯著的價值體現。
狒哥作為廠商，把存算協同的事情做好了，對于樊老師這樣的用戶而言，那就是躺贏了。

樊春對，從我們的角度來說就是享受到了成果。現在北大計算中心的最新的算力集群，就是由超聚變提供的，用的是超聚變的液冷服務器，存儲也是希捷的產品。對于希捷的新一代存儲產品，能夠提供更好性價比、更加綠色節能的能力，那對于我們用戶來說，就直接能夠得到節省成本、提升效率的好處。期待著能夠盡快使用新一代的產品。

梁永貴我們不僅推出前面所說的基礎設施產品，超聚變也有AI解決方案來應對AI的快速發展，包括我們發布的FusionPoD for AI這種大模型解決方案，它能夠覆蓋我們前面提及的數據預處理、模型訓練、推理的整個生命周期。并且，這個解決方案里面，超聚變兼容了多元算力，也繼承了AI加速的軟件棧，以及相關的資源編排能力調度的系統，能夠支持多種算力的統一化管理和優化，來提升整體的算力利用率和執行效率。

此外，超聚變還將一些軟件的組件和服務都封裝了進去，使得企業能夠在多樣算力調度和模型加速方面，能夠有效的縮短算力到應用的距離。因此，這個FusionPoD for AI就能夠加速實現從紙面算力到好用算力落地的過程。

狒哥樊老師作為用戶，一定會基于產品的創新基礎上，迭代出自己的創新，來應對未來的挑戰。
樊春是的，我們和超聚變在一體機上面，也有深入的合作，關于訓推一體等多個方面。此外，我們也做了一些相應的訓練和推理的軟件棧，和超聚變的產品配合，也進入了超聚變官方的下載列表，可以對外進行銷售。

所以，我們很榮幸地進入超聚變的銷售體系，我們不僅是超聚變的客戶，也是超聚變的合作伙伴。

AI和智能體的發展，算力和存力的變革和創新，會在哪些行業產生影響？

另外，AI和AI技術的發展，也會幫助我們科研的很多領域進行發展，比如說關于氣候的碳排放模擬，碳排放對溫室效應的影響等等。氣候的模擬需要大量的數據，從中找到規律進行預測，這是很重要的領域。另外在生命科學領域，又分為兩個具體的領域，一個是基因工程，另外一個是關于成像工程。這個成像工程分為多模態跨尺度的。從非常低尺度的分子結構，到細胞結構到全人體等，有非常多的尺度都有著大量的成像數據。
還有就是關于拓展人類的認知的問題，比如說現在的引力波相關、給黑洞拍照片等，都是大家非常關心的話題，這些都離不開海量的數據處理和海量的存儲。整個AI以及存儲技術的發展，能夠極大地促進科學領域的發展，以及教育領域的發展。

梁永貴對于未來AI的發展來說，行業的發展一定是一個百花齊放的狀態，不一定會是哪個行業領先，只是有一些領域的應用可能會早一些，有一些領域會晚一點。

因此，未來肯定很多領域都會被AI滲透，只是滲透的程度會有所不同。在多行業的發展情況下，那些對非結構化數據處理以及復雜模型訓練要求較高的領域，可能會發展的更好一些。

比如說醫療領域，它會有很多的醫學圖片的數據、病例的數據，那就會促進多模態大模型的發展，以提高醫生診斷的效率，甚至輔助醫生做診斷。

在科研與大模型訓練的領域，比如說天文氣候等領域，其數據量會更大，達到EB級別。超聚變跟某地的氣象局，也進行了合作。通過超聚變的FusionOne的大規模的加速引擎，對其PB級別的數據進行了高效的處理，這個引擎就是集成了超聚變AI的開發平臺，包括資源調度、加速等組件，再結合其內部的存儲和算力融合在一起，就可以把分布式存儲跟算力深度融合在了一起，這就能夠解決氣象預測過程中整個數據的吞吐量的瓶頸，以及大模型的訓練時間的瓶頸。
其次，在智能制造領域，超聚變也有涉足，將FusionOne的HCI超融合方案，將虛擬化與存儲進行了融合，降低了部署的門檻。在智能制造行業，利用內部的AI中臺以及高速緩存，可以實時分析工業影像的相關信息，幫助企業實時檢測到缺陷，快速識別，甚至可以做提前的預測。這就可以幫助到智能制造行業的企業，提升效率。

俞康除了上面提到的這些領域，我們認為AI還可以在更多行業發揮作用，比如說金融，能源電網等等。有客戶對希捷表示，因為AI導入到了它的智能監控系統，因此需要更多的存儲空間。

此外，提到智能制造，在很多年前，在AI還沒有這么火熱的時候，希捷就已經將智能制造能力運用到了自己的工廠里面，在工廠的生產流程和產品質量管控方面，都是有著很好的實踐。在希捷內部，差不多有著上千個AI的應用，有一些甚至是行業中的典范，比如說在硬盤的碟片檢測流程中，不可能依賴人工去檢測，而是采用智能化的方式，用AI的能力來檢測，有問題就進行標記，極大地提升了硬盤碟片的檢測效率，這對于希捷的產品生產質量的管理有著極大的幫助。
狒哥在我們的《AI時代的存儲基石》中，我們認為不能寫“AI存儲”，因為我們要寫的是“storage for AI”，當然反過來，就像康總前面提到的，AI也可以“for storage”，這又體現了一種循環。

包括英偉達在內，大家都喜歡AI工廠，英偉達的黃仁勛就總是講數據中心就像一個AI工廠，這個的確是一種方向，AI將會給包括智能制造在內的千行百業提供支持，在各個行業都大有可為。