2024 年初，要說在眾多 AI 賽道之中，哪個賽道在資本、創業者、公眾幾個層面都獲得了極大的關注，那一定有 AI 視頻生成。而放眼海內外，我們會有一個明顯的感受，在視頻生成這股風潮中，華人的參與度尤其高。

僅在 2024 年 3 月一個月，就有三個華人創立的 AI 視頻生成創企獲得了融資，而且融資額都過了千萬美金。

1、3 月 7 日，總部位于英國倫敦的Haiper宣布產品上線，并已經完成 1380 萬美金融資。Haiper 由兩位曾供職于 Google 旗下 DeepMind 團隊的華人工程師建立，提供免費的視頻生成功能，最長可以生成 2 秒的高清視頻，和最長 4 秒的標清視頻。

2、3 月 13 日，由前字節跳動視覺技術負責人創立的愛詩科技，完成一億元人民幣（約合 1380 萬美金）左右的 A1 輪融資，而其視頻生成產品 Pixverse 已在海外上線，生成視頻的時長為 4 秒，2 月份的網站流量已經達到 120 萬。

3、3 月 24 日，據 The Information 報道，去年下半年，憑借讓霉霉說中文視頻火起來的 AI 數字人產品 HeyGen 正在進行一輪 6000 萬美元的融資，由曾經投資過 Uber 和 Snap 的知名 VC Benchmark 領投，完成此次融資后，HeyGen 的總估值將達到 4.4 億美元。

再加上之前估值已達 2-3 億美金的 Pika Labs。由華人建立的創企們紛紛入局 AI 視頻賽道。

而其實，“AI 視頻融資熱潮里華人密度尤其大”這個命題可以拆開去看，一個是 AI 視頻的融資熱，另一個是創業者里面的華人密度。

不賺錢、還燒錢，AI 視頻為什么還會融資熱，又為什么是 3 月份？

AI 這一波的創業潮，給已經有點冷清的市場注入了活力。但一圈看下來，除了大模型驅動的 Chatbot，基本上就沒有新的產品形態了，AI 只是在“賦能”各個領域，文字、圖片、視頻。

而在上述幾個領域中，AI 視頻生成產品的用戶接受度最低。在 a16z 剛剛發布的 2023 下半年 Top50 AI 產品榜單中，上榜的 5 款 AI 視頻產品中，只有 runway 一款是以視頻生成為核心功能的，其他都是剛需屬性更強的視頻編輯產品。

runway 的流量走勢圖（23.9-24.2）

而就算 runway 也在 2023 年 12 月網站流量達到峰值后，出現了明顯下滑。

這說明 AI 生成視頻沒市場嗎，顯然不是。按照賦能邏輯，AI 在某個領域落地，其潛在機會和規模，應該參考其服務的賽道。

顯然，視頻的市場規模不小，簡單粗暴點，就互聯網頭部的產品來看，視頻產品，也比圖片和文字產品“值錢”。而當前這種流量的下滑，是因為產品確實拉胯。

截至 2023 年年底的 AI 視頻生成產品｜圖片來源：a16z

根據 a16z 的統計，絕大多數產品都只能生成5秒鐘以內的視頻，而像 Kaiber 和 Deforum 雖然可以生成十幾秒的視頻，但只限于動畫風格。

而雖然，像 Runway、Pika，和后續切入市場的 Pixverse 生成的視頻看上去很真實，也很酷炫。但是短短幾秒鐘時間+簡單的鏡頭移動，對于絕大多數用戶來說，除了體驗一下之外，很難有使用場景。即便和一些創作者交流下來，他們也很難把這些 AI 產品融入工作流里面。在新鮮感過去后，訪問量下滑也屬合理。

就網上的信息和與 AI 視頻產品創始人的對話內容來看，大家普遍認為，目前的 AI 視頻生成大概在 GPT-2 時代，也就是說，有一定技術突破，但是視頻生成的時長和質量，還沒有到能夠落地應用和商業化的程度。

市面上幾款常見模型的推理運算量估算，注：橫坐標是輸出內容的量，縱坐標是所需運算量，采用對數形式作圖 | 圖片來源：知乎

沒落地，更別提商業化了，但硬幣的另一面，“燒錢”卻是實打實的。

從成本來看，Sora 的算力需求就比 GPT-4 高出了好幾個數量級。有網友根據 Sora 的公開數據做出了保守估算，訓練 Sora 需要 1.4 萬張 NVIDIA H100 GPU 運行一個月，光這些芯片的價值就高達 4.4 億美金......

其他產品雖然可能不像 Sora 一樣走“大力出奇跡”的路徑，但是算力成本遠超其他類別 AI 模型是肯定的。

即便如此，賺不了錢、又燒錢的AI視頻賽道仍受到了資本們的特別關注，2024 年僅過了 3 個多月就有多達 7 款產品獲得融資，總融資額達到 2.18 億美金。

背后的原因，也剛好如上所述。有市場、但供給都不太行，有心氣的 VC 們還是愿意搏一把的，而 3 月份資本的密集出手，還多虧于 Sora 這樣頭部產品帶來的“清晰信號”。

具體來看的話，有市場，不只是上面說的 AI 落地到的視頻賽道規模更大，還有 AI 視頻模型更接近于 AGI 的一層邏輯。

而很多從業者認為，AGI 如果真正實現，則很多細分領域的應用層機會就消失了，也就是誰先做出來，可能會形成比較強的流量聚集效應，從風險投資的角度，資本肯定愿意搏一下，也就出現了 AI 視頻融資熱。

視頻生成任務流程示意圖，注：AI 在生成視頻的過程中，一是要生成視頻畫面，這涉及 AI 視覺領域；二是需要理解并遵守 Prompt，這涉及自然語言處理；三是要保持視頻的一致性、連貫性、合理性，這要求 AI 理解視頻中的元素如何隨時間變化及現實世界的物理規律，這考驗 AI 綜合學習及理解能力。此外，目前 Pika、Sora 等產品已經可以加入了聲音生成的功能，AI 還需要保證畫面、音頻和文本描述的協調性。｜圖片由 ChatGPT 生成

而這個熱潮出現在 3 月份，則是因為技術路徑相較于之前清晰了不少。

技術路徑收斂，AI 視頻生成已走過了從 0 到 1 的探索階段

2024 年 AI 視頻生成產品融資情況｜數據來源：AI產品榜（aicpb.com），紅色為創始人為華人的AI視頻產品

AI 這一波的融資，其實集中出現在 3 月前后，這與 Sora 這樣通過摸索技術路徑、實現了遠高于之前同類產品的驚艷效果強關聯。

根據對前谷歌 VideoPoet 項目負責人蔣路的一篇采訪，AI 視頻生成有兩個主要的技術路徑 Diffusion 和 Transformer，前者是 AI 生圖的主要技術路徑，而后者則是 GPT 等大語言模型（LLM）的主要技術路徑。

在 Sora 出現前，在視頻生成賽道中，兩者被認為是涇渭分明的兩條路徑。90% 的研究者都在進行 Diffusion 路徑的研究，但也有少量的研究者在做 Transformer 路徑的研究，但基本上逃不出這兩個方向。

Sora 的技術示意圖｜圖片來源：知乎

而 Sora 的出現則讓技術路線基本確定。Sora 是 Diffusion-Transformer 模型，等于把上述兩種技術路徑整合起來了。其中 Diffusion 的作用是細化和完善視頻畫面，而 Transformer 則用來處理和解析復雜的文本輸入，并控制視頻的邏輯連貫性。通過這種技術架構，Sora 可以按圖像幀的時間序列來處理視頻畫面，就像 ChatGPT 按文字邏輯順序處理文本一樣。

有創業者說，看過 Sora 的論文后發現，原來涇渭分明的兩種路線完成了交匯。而 Pixverse 的創始人王長虎則說：“Sora 讓我們堅定了前進的方向。”

由于 AI 視頻賽道目前的技術路徑已經日趨清晰，免去了選錯技術路徑帶來滿盤皆輸的風險。VC 雖然考慮收益，但更關注風險。

又為什么是華人？

AI 視頻產品華人創業者的履歷｜信息來源：谷歌、領英

看幾位創始人的履歷，在創業之前就專注于 AI 或視覺相關技術，都有海外名校學習或國際化大廠供職的經驗，擁有開闊的國際視野。

除了這兩項“基礎素質”，作為華人的他們對視頻賽道，也有著自己的理解。

在上一波互聯網創業大潮中，視頻，尤其是短視頻賽道，是中國互聯網企業優勢所在，TikTok 已經成長為全球主流媒體之一，引得 Google、Meta 等社交巨頭們競相模仿。

隨著短視頻占據了人們越來越多的注意力，互聯網變現的 2 個印鈔機也隨之轉動，廣告和電商。根據 2023 年的數據，字節的廣告收入折合 553 億美元，排在國內主要互聯網企業的第一位，總營收 1200 億美元，排名第三。

而在電商方面，2023 年抖音電商的 GMV 在 2.3 萬億人民幣左右（折合 3220 億美元），在國內大概排在第四，海外的 TikTok Shop 有 200 億美元。

作為華人，對于此要更敏感一些。縱觀幾款三月份獲得融資的幾款華人 AI 視頻產品，雖然發展階段不太相同，但是都針對短視頻相關的廣告營銷和電商生態進行了探索。

Haiper 與京東合作的海報，合作宣布時間｜圖片來源：Haiper

Haiper 的產品于 3 月 7 日上線，而在產品還未正式上線時，Haiper 就開始了應用場景的探索。首先，在 1 月 24 日，Haiper 宣布與倫敦藝術大學時裝學院展開合作，用 AI 的能力將時裝草圖轉化為動態視頻，在成衣制成之前預覽上身效果。而在 2 月 9 日 Haiper 宣布和京東展開合作，探索電商方向的應用場景。作為一款新生產品，Haiper 已經在為技術找應用場景了。

而對視頻、尤其是短視頻商業化路徑更清晰的認知，讓 AI 視頻賽道華人創業者們的發展路徑看起來更接地氣。

以其中融資金額最高的 HeyGen 為例。

HeyGen 0-100W ARR數據和主要成就｜圖片來源：HeyGen

HeyGen 在眾多“形而上學”的視頻模型創業公司里面，商業化能力是非常強的。收入數據來看，從 2022 年 7 月底上線算起，ARR 從 0 到 100 萬美金，僅用時 178 天，而最近一次融資放出的消息，HeyGen 2024 年 2 月的預期 ARR 已經達到 2000 萬美元了。

回頭去看，HeyGen 除了迭代技術之外，在場景上的探索也非常積極和接地氣。

HeyGen生成的AI演講者｜圖片來源：HeyGen

HeyGen 的主要功能是 AI 數字人生成和視頻翻譯，服務的是 AI 演講視頻場景。

在上線之前，HeyGen 首先在線上協作平臺 Fiverr 上提供演講者視頻制作服務來驗證市場需求，在這個平臺上，HeyGen 提供的數字人演講服務比真人服務價格降低了 90%，交付時間從 1 天縮短為了 10 分鐘。通過這樣的方式，HeyGen 找到了為服務買單的群體，電商賣家和內容創作者那樣的小 B 用戶。

YouTuber 小薇Official channel教電商賣家如何使用HeyGen的視頻｜圖片來源：Google

HeyGen SaaS服務的合作伙伴｜圖片來源：SaaS genius

而后，HeyGen 應該是想進一步去探索場景，錨定在企業宣傳、內部管理和培訓等能夠用到 AI 視頻的地方，來獲取大客戶。在 2022 年底，HeyGen 開始建立大客戶團隊，根據官網顯示，Salesforce、amazon、NVIDIA 現都與 HeyGen 達成了合作。

在驗證需求并有小范圍內傳播后，而后才有我們看到的 HeyGen 在社媒上曝光（“讓霉霉說中文”），進一步再引發媒體曝光，打響知名度。

在發展的過程中，HeyGen 將各項技術（Avatar、聲音、視頻翻譯）設計成一個個模塊，然后組合應用到不同場景里，而場景的探索也偏多樣化，例如一些個性化的外聯視頻、教育類會用到比較多的相關視頻、商品展示和宣傳視頻等等。

“URL to UGC”功能海報（左），筆者生成的產品推廣視頻截圖（右）｜圖片來源：X，HeyGen

但從第一開始的市場驗證到后期的場景探索，電商和推廣也都被作為重點探索領域。例如，HeyGen 在 4 月 17 日推出了基于商品頁面生成商品介紹視頻的功能。用戶只需上傳一個商品或 App 的網站鏈接，HeyGen 就可以基于頁面上的文字和圖片，自行生成幻燈片和對應的視頻腳本，在用戶確認后，生成產品介紹視頻，進一步簡化工作流程。

HeyGen 訂閱頁面，注：免費版 HeyGen只能生成 1 個視頻，基本無法滿足使用需求

參考文獻：

1、a16z 干貨：Sora 統治之下，AI 生成視頻還有哪些機會？

2、采訪 VideoPoet 作者：視頻模型技術會收斂，LLM 將取代 diffusion 帶來真正的視覺智能

3、GenAI 這一波，華人創業者能出一些厲害的人物

4、深入剖析 Sora 原理：細節解讀與技術洞見

5、AI生成視頻比 ChatGPT 難在哪

6、為什么說 Sora 是世界的模擬器？

7、Sora 很強大，但也不必過度神話

8、用 AI 文生視頻，到底有多難？

9、AI 到底如何生成視頻？Sora 究竟為何能引爆科技圈？

10、OpenAI Sora：“原始版”世界模擬器，我們離黑客帝國還有多遠？

11、Why 2023 Was AI Video’s Breakout Year, and What to Expect in 2024

12、The Top100 GenAI Consumer App

13、Sora 究竟有多燒錢？Sora 的推理與訓練的計算成本被扒出來了

14、創業沒被朱嘯虎勸退，前字節 AI 老將王長虎“闖關”中國視頻大模型

15、TikTok 電商大盤三位數增長，為什么賺錢的不是我？

16、7 個月 ARR 從 0 到 100 萬刀，HeyGen 是怎么火起來的？