推理成為下一「戰場」，AI Infra 創企「淘金」視頻大模型。

作者｜朱可軒

編輯｜陳彩嫻

作為 2020 年全球高性能計算領域在 Google Scholar 上引用次數最高的博士畢業生，尤洋曾被 UC Berkeley 提名為 ACM Doctoral Dissertation Award 候選人（81名 UC Berkeley EECS 2020 博士畢業生中選 2 人）。

同時，他也是世界上唯一一位 35 歲以下在 4 個頂會（AAAI, ACL, IPDPS, ICPP）上以領導者的身份（第一作者或通訊作者）獲得 Best Paper/Distinguished Paper 的人。

2021年 7月，尤洋創立潞晨科技，轉眼間，已經走進第三個年頭。而經過三年時間的沉淀，投資機構對潞晨的估值增長了 40 倍。

在向 AI 科技評論談起商業上的目標時，尤洋表示，“我們要把潞晨的市值做到 200 億到 300 億這個量級，然后上市。目標非常量化也很明確，就是達到 20 億的收入。”

回望這些年，為了適應 AI 時代對于基礎設施的需求，潞晨在戰略上也進行了許多調整。

隨著大模型的發展重心由 Pre-training 逐漸轉向 Post-training 和 Inference，去年年底，潞晨正式開始布局訓推一體機。

同一時間段里，尤洋和團隊也意識到了雖然作為基礎設施中間層的公司，但自身也是需要有一定模型能力的。于是，今年 6 月，潞晨自研并發布了全球首個開源類 Sora 架構視頻生成模型 Open-Sora。

談及這方面的布局，在尤洋看來，“如果不去做一個自己的優質大模型的話，那推理平臺上其實是沒有優質資源的。”這也是潞晨有競爭力的點所在。

不過，最關鍵的原因還是在于，“視頻大模型還處在 GPT-1 時期，而發展到 GPT-4 之時，對算力的需求要求會是最高的，這是 AI 基礎設施公司最容易產生大價值的方向之一。”尤洋這樣向 AI 科技評論解釋。

視頻大模型和訓推一體機是潞晨目前在推理方面的兩塊重點布局方向。而在把 Open-Sora 做成一個爆款之前，由于還是需要依賴開源模型，訓推一體機則是潞晨的首要發力點。

除此之外，“生態”是尤洋對外多次提到的核心關鍵詞。他堅持認為，“AI Infra 創業公司的長期壁壘就是在于生態，如若連生態都沒有，將會很難與巨頭對抗或是共存。”

目前，潞晨是世界上唯一一家有自己獨立開源生態的 AI Infra 創業公司，開源社區大概有 4 萬到 10 萬這個量級的開發者在深度使用潞晨的產品。

以下是 AI 科技評論與尤洋的訪談實錄，作者進行了不改原意的編輯整理：

1

長期壁壘在于生態

AI 科技評論：潞晨成立至今已經有三年了，創業這三年來，您覺得和做學術相比會不會更艱辛？有什么心得體會可以分享一下嗎？

尤洋：我覺得要成為楊振寧還是馬云，其實二者可能不能直接相比，他們的成功都不會太容易，這是我的一個基礎看法。對于我個人而言，我現在還年輕，今年才 33 歲，所以還是有很大探索空間的。

我目前沒有感覺到難度，當然我不是說我很厲害，我的意思我給自己定了一個比較合理的目標，如果我要是現在就想五年之內拿諾貝爾獎，這簡直天方夜譚，或者我五年之內把公司做到英偉達那樣的市值，也不太可能。

其實我覺得這個東西難易還是分人，當然首先是每個人基于自己的水平狀態設一個合理的目標，由于我設的目標還算合理，所以我現在倒沒有感覺到太艱辛。當然有很多人的 Google Scholar 引用數比我多很多，還有一些人公司的市值，比如說國內這幾家大模型公司肯定都比我們高，我覺得還是給自己一個合理的定位。

而我目前的定位，學術方面就是做出有影響力的工作，商業方面就是要把潞晨的市值做到 200 億到 300 億這個量級，然后上市，我們的目標非常量化也很明確，就是達到 20 億的收入。

尤洋

AI 科技評論：看到官網介紹，潞晨在 GitHub Trending 開源社區熱度榜世界第一。Colossal-AI 和 Open-Sora 均多次登上 Github 全球榜單第一，目前你們開源社區的開發者大概有多少呢？

尤洋：我們開源社區的開發者大概有 4 萬到 10 萬這個量級在深度使用。

Github有周榜和日榜，我們好像上過三次周榜，七八次日榜，就相當于如果上了日榜的話，今天就是全世界最受關注的開源項目。當然我不能說我的產品是世界第一，我覺得在大模型訓推軟件方面，Pytorch 肯定是毋庸置疑的世界第一，我覺得我們是除了Pytorch之外比較有影響力的，當然跟 Pytorch 差距還是很大。

AI 科技評論：開發者使用潞晨的產品有遇到過什么難題嗎？你們是怎樣解決的？

尤洋：我們的開發者大體而言，第一類是偏科普，第二類就是平衡定制化需求是不是足夠通用。

首先，因為好多人是不斷切到大模型這個賽道里的，他們沒有相關背景知識，使用之時如果連背景知識都沒有，就像是我們做的是專業挖金子的東西，他連這些金子在哪的基本常識都沒有，那他們肯定會遇到一些困難，所以我們需要做一些科普型工作。

然后，對于專業的開發者而言，他們也用過 DeepSpeed、Megatron，甚至想自己寫框架，這種深度使用者往往有一些偏定制化的需求，這一點我們需要權衡一下，因為我們是通用的工具，我們可能為了一些用戶把它改成一個特別小眾的工具。這兩類用戶都可能給我們提出一些很有效的建議，我們進一步改進。

AI 科技評論：開源社區應該是潞晨比較重視的部分。

尤洋：我覺得 AI Infra 創業公司的長期壁壘就是在于生態。

這一波 AI 可能才兩三年，還看不出究竟誰能夠成下一個巨頭，那可以看一下上一波的 AI 基礎設施公司，其實就是大數據，從 2010 年到 2020 年這十年之間可能最成功的就是 Databricks、Snowflake，他們的策略還是要跟用戶生態去綁定。

這就是為什么 Databricks 要構建它的 Spark 生態，也是做了一個很大的開源社區，然后前兩年是主要培養開發者，開發者逐漸融入到各個行業之后，給他真正帶來一些客戶、收益，才能不斷把這個做起來。

否則如果作為基礎設施公司連生態都沒有，就很難跟大廠去對抗或者共存。確實 AWS 也嘗試做著開源生態，但是大廠也不一定很擅長，這也是他們允許類似于 Databricks 這樣的公司分一杯羹的原因所在，當然他們是共享營收的。

我們在海外市場的競爭優勢也是在生態上，我們是世界上唯一一家有自己獨立開源生態的 AI Infra 創業公司，這一部分用戶是我們的忠實用戶。

AI 科技評論：那潞晨現在會和云廠有競爭嗎？

尤洋：我們和云廠沒有競爭關系，尤其是在中國就更沒有了。我可以說一下中國的實際情況，就是中國的云廠商實際上沒有高端算力，因為要比較嚴格遵守美國制裁。而我們現在做的主要是把中國民間已有的合法高端算力，聚集起來形成一個塊，或者在廠商內部提供服務，意思就是廠商內部可能買了A100、H100，我們進一步給他們服務。

AI 科技評論：你們現在的重心實際上也不是大模型公司。

尤洋：我們是有跟大模型公司合作的，但是目前更多的是跟一些微調的公司在合作。

我可以解釋一下 Pre-training、 Post-training 和 Inference，我覺得 Pre-training 的話肯定是大模型公司比較喜歡做的，但是他們由于融資額比較高，就像我沒聽說過 Together.AI、 Lambda Labs 有機會去服務 OpenAI，要想服務 OpenAI，必須得像微軟這樣的體量。或者像馬斯克的大模型公司，不要供應商，自己弄了 10 萬卡集群。

不管是美國的大模型公司，還是中國的大模型六小龍，他們要自己去建自己的基礎設施，不然就是被大型云廠服務，創業公司根本切不到這一塊蛋糕。我們也收到了一些大模型公司的客戶，但并不把他們定為我們的戰略重要目標，只是通過跟他們合作看看有沒有需要我們補的技術點。

我們目前收到的收入，主要來源于一些 Post-training，就是預訓練之后的 training 階段的公司，比如說車廠、藥廠、石油公司、金融機構。他們有數據隱私的需求，然后又沒有大規模集群，可能最多買了千卡，但他們對效率要求也很高，實際上也是在做內部業務的大模型的。

2

推理層面的價值點

AI 科技評論：潞晨現在自己也入局了大模型，發布了類 Sora 架構視頻生成模型 Open-Sora，國內其他 AI Infra的廠商好像都沒有下這一步棋。你們的初衷為何呢？

尤洋：因為未來兩三年視頻生成大模型發展空間是最大的，對算力的需求也是最高的。當然，我的意思是如果視頻大模型也發展到 GPT-4 這個層面，今天 OpenAI 說視頻大模型只是在 GPT-1 的階段。

當前，視頻大模型還很小。比如說，我想生成一個 720P 清晰度的視頻，并且還是用不大的模型的話，就需要一臺機器八卡，大概 1 到 4 分鐘才能生成。由此可見，這種級別的擴展對 AI 基礎設施功力的優化是需求最高的。

第二個原因是我們在實際服務的客戶里面，也真實遇到了一些客戶有這樣的訴求，他們確實是希望基礎設施廠商能提供一個很好的視頻大模型模板，方便他們在行業落地。

其實可以看一下目前做基礎設施最好的公司，Together.AI 是不錯的 AI 基礎設施公司，他們通過服務視頻大模型公司 Pika 積累了很多寶貴的產品經驗，同時收獲了營收，基本相當于做了視頻大模型布局。然后 Lambda Labs 平臺上的樂高是基于潞晨 Open-Sora 做的，他們也在做類似的布局。

但歸根到底，我們做這塊的初衷還是覺得視頻大模型對算力的需求要求比較高，這是 AI 基礎設施公司最容易產生大的價值的一個方向。

為什么我相信視頻大模型比LLM更可能有長期scaling law？因為視頻大模型的訓練數據就是客觀世界的真實寫照，數據的最終制造者是造物主，大模型完全可以發現其內在的規律。LLM的訓練數據是互聯網和書籍，數據制造者的水平參差不齊，而且有很多歧義和垃圾信息。

每個人從出生開始，并不是每時每刻都在閱讀文字，但無時無刻不在接受視頻輸入，甚至文字本身也可以作為視覺輸入。在嬰幼兒時期，人類不識字卻能發展出智能，這都說明了視覺信號本身足以scale。且視覺中的各式各樣的物理規律，也需要scale到一定規模才有可能精確掌握。

AI 科技評論：那 Open-Sora 和目前市面上其他采用 Diffusion Transformer(DiT) 架構的視頻生成模型相比，差異化優勢具體體現在何處？

尤洋：我們的最大優勢在于 id 一致性。

有一些商業客戶在用我們的 feature，雖然沒發到 Open-Sora 里，因為可能短時間內真的能夠變現的話，就是面向視頻制作者、電影制片人等等，這種情況下，里面人物的一致性還是比較關鍵的。

比如說，我能不能在我導師女兒生日的時候，給她生成一個專屬的小電影，我們的 Open-Sora 在內容上就是強調 id 一致性的，這塊我們也下了很多功夫，雖然沒有開放。

近期，我們也打算把它拿到我們商業化產品里，在商業化產品發布以后，再看看是不是有必要開源，發布時間大概在國慶節前后。

AI 科技評論：這也是你們在推理這一塊的發力點之一。能否詳細介紹一下潞晨的整體推理布局呢？

尤洋：現在我們其實做了很多推理方案。

第一，就是要把我們的視頻大模型做好，要上線、有服務，這對我們的鍛煉價值還是非常高的，確實真正有人在用，我們也會努力把視頻大模型的推理速度優化到極致。

第二，我個人對于 AI Infra 創業公司做 MaaS 去賣開源模型的 API 有一些顧慮。最開始其實我們也想過這條路，是特別美好，但是這塊蛋糕普通人拿不到。比如說，作為 AI 開發者到底是調這類平臺的API，還是調月之暗面、智譜、DeepSeek 的API，DeepSeek、通義千問都有自己的 MaaS，感覺這種方式相當于在和通用大模型公司競爭。并且，如果不去做一個自己的優質大模型的話，那推理平臺上其實是沒有優質資源的。

現在最核心的就是這一塊，大模型還在能不能進入別人的生產環節之中被討論之時，價格和速度是次要的，最重要的是能不能真正產生智能效果，內容生成質量到底如何，現在做推理 MaaS 最核心的是有沒有優質資源，這也是現在只有 ChatGPT 能夠帶來數億美元收入的原因所在。

所以，我們當前的重點其實是在訓推一體機上。因為現在 Open-Sora 顯然沒有到達一個 superstar 的階段，我們的影響力肯定還遠遠不如 Kimi，更別說跟 ChatGPT 比了。在把 Open-Sora 做成一個爆款之前，我們還是要先依賴開源模型。這方面就要想清楚什么時候開源模型對閉源模型有優勢，這也是我前面提到的顧慮所在，因為我覺得開源模型在那種情況下相對閉源模型沒有任何優勢。

什么時候有優勢呢？就是能不能把用戶的稀有數據去微調一下的開源模型，通過 post-training 把開源模型變成一個用戶高度定制化的版本，那這個場景既然是隱私的話，其實就是賣一體機。我們可以把我們訓練的基礎設施或者軟件都弄到一體機里，或者我們的潞晨云上，讓客戶通過這種方式先微調出自己的定制化模型，然后通過一體機服務內部。

或者他們不愿意買一臺機的話，可以上我們的云，把整個機器包下來，我們相當給他們做了一個 serving instance，就像 AWS Google cloud 上每個服務器就要一個 instance，相當于構建了一個 serving 的機器，他們可以快速把自己的模型部署上去，不是調API，而是對模型有十足的控制。

AI 科技評論：潞晨的訓推一體機商業化情況如何了？

尤洋：已經達到指標了，今年我們在訓推一體機上的目標是獲得 2000 多萬的收入，現在已經快 3000 萬了。

AI 科技評論：目前主要是和華為合作嗎？

尤洋：不止和華為合作，任何合法的華為或者英偉達機器我們都考慮。主要是華為的昇騰 910B 和馬上就要發布的昇騰 910C ，加上英偉達的 H20。

AI 科技評論：前段時間聽說你們在談算力中心落地，這塊是有什么樣的布局？

尤洋：因為各地的算力中心，他們的優勢是有一些資金，而劣勢就是他們的軟件，特別是類似于 Colossal-AI，或者訓推一體的軟件方面積累不是很多，這會導致芯片買過來之后，最壞情況下變成廢鐵了。

比如說，之前就有個地方政府弄了 3000p 的算力，但是閑置率基本上99%，賣都賣不出去，這樣就很不好。他們其實就是希望我們的軟件把它優化一下，讓這 3000p 的算力真正能發揮出 3000 張 H100 的價值。

AI 科技評論：您覺得潞晨目前還有沒有什么需要補齊的短板呢？

尤洋：關于短板，去年我們意識到自身是需要有一定模型能力的，所以我們才做視頻大模型，這是去年年底我們思考到的一些事情，要想服務好這些公司，得自己先訓過模型，如果自己都沒訓過，他們會不放心把有些項目交給我們。所以訓練視頻大模型，順便也是補齊了我們在這方面的短板。

這樣的話我們才有資格去服務。現在4 個世界 500 強客戶和 7 個世界 2000 強的客戶已經給我們付費了接近千萬元，是對我們最大的認可。這塊也是潞晨比較有競爭力的點所在。

3

海內外的發展機遇

AI 科技評論：那您覺得海內外AI Infra 目前有什么差異？

尤洋：國內可能現在由于諸多因素的限制，我感覺沒有一個很自動化的產品能夠快速跑出來，而且國內由于算力都分散在地方政府的手里，同時高端算力對中國明面上也禁運，芯片層的一些限制導致上層軟件目前發展速度沒有那么快。海外的話，由于英偉達快速統一了市場，這些公司反而比較好做，基于英偉達再把事情做好就可以了。

AI 科技評論：國內的痛點也是在這塊嗎？

尤洋：國內當前的痛點肯定首先是能不能有一兩款硬件迅速整合市場，相當于把 AI 基礎設施軟件以下的基礎設施，也就是芯片層，確實要統一好。不過機遇也是有的，我相信中國的市場比較大，未來不會比美國小。

AI 科技評論：那潞晨目前在海內外的布局情況如何？

尤洋：目前我們在海內外沒有做嚴格區分，因為我覺得現在我們還是在產品試錯的階段，從總收入而言，國內可能跟去年的口徑是差不多的，而且我們的視頻大模型也有海外版的，本身我們也服務了一些海外的客戶，然后我們的潞晨云其實也有海外版的，海外客戶更容易對這種軟件服務付費，所以說目前海內外收入是差不多的。

AI 科技評論：潞晨云的海外版和國內版用戶會有什么差異嗎？

尤洋：國內版的話客戶更散，我們發現國內的客戶，如果訓的模型比較大的話，可能會自己去買服務器，它是真正上云的地方，雖然是數量很多，但是都比較散的，所以我們的最小優化單位是一張卡。

國外的話相對于而言更整一點，一個公司去采購，也不會去訓那么小的模型，所以我們最小優化單位是一臺服務器。

AI 科技評論：你們開拓海外市場會在哪些方面覺得比較有壓力？

尤洋：我覺得小規模的情況下，就比如說我們現在想做到 2 億人民幣這個收入，這個階段的話還不會有太大壓力。不過之后做到 10 億人民幣的話，肯定就會就要引起 CoreWeave、Lambda Labs 等公司的注意了。

AI 科技評論：我記得您之前有提到說潞晨科技是中國的 Together.AI，產品會有什么差異嗎？

尤洋：最大的差異就是 background 不太一樣。

我們是做并行計算的，Together.AI 可能更偏重于算法修改，我們的理念是把訓練、推理這些計算改進過之后，它的精度是不會變的，只是改了計算的方式，結果是一模一樣的，Together.AI 可能會涉及到一些新的 trick 或者新的方法去平衡精度和速度。

更多內容，點擊下方關注：

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。