讓馬斯克秒變帶貨主播。

還記得那個(gè)讓霉霉說地道中文、郭德綱講英語相聲的 HeyGen 嗎？

最近它又上新了「產(chǎn)品植入」功能，只需一張人物頭像和一張產(chǎn)品圖片，就能讓任何人給任何產(chǎn)品「帶貨」。

比如，讓蓋爾?加朵、霉霉和伊萬卡分別手持 Labubu、百事可樂、Gucci 經(jīng)典包包說著一段廣告詞，無論是表情、口型還是手勢(shì)，都相當(dāng)自然逼真流暢。

或者讓蒙娜麗莎、帶珍珠項(xiàng)鏈的女孩在線推銷商品：

還有網(wǎng)友完全用 AI 生成人物和產(chǎn)品圖片搞了段帶貨視頻，這要是去掉 HeyGen 水印，再放到社交媒體上，又能忽悠了不少人。

不少網(wǎng)友看了這些 case，紛紛表示這將重新定義廣告行業(yè)。

HeyGen 是一款 AI 視頻生成平臺(tái)，但與可靈、即夢(mèng)、Runway 等不同，它專注于數(shù)字人視頻的制作。用戶只需輸入文本腳本，就能一鍵生成高質(zhì)量的虛擬人像視頻，并支持多種語言和方言。

此外，HeyGen 還探索出不少五花八門的功能。比如 Video Podcast，只需上傳網(wǎng)站鏈接或 pdf 文檔即可生成雙人 AI 視頻播客。

再比如 Interactive Avatar，通過該功能，我們可以和各種虛擬形象進(jìn)行實(shí)時(shí)互動(dòng)，有點(diǎn)類似于給虛擬人打電話。

還有兩項(xiàng) Beta 測(cè)試版功能 ——Instant Highlights 和 URL to Video。前者是把長視頻一鍵剪成多個(gè)精彩片段，后者則是粘貼產(chǎn)品列表鏈接即可立即生成促銷視頻內(nèi)容。

一手體驗(yàn)

今天，我們就詳細(xì)介紹下 HeyGen 的「產(chǎn)品植入」功能的玩法。

打開 HeyGen 官網(wǎng)，選擇「Product Placemengt」功能，分別上傳一張 Labubu 的產(chǎn)品圖像和一張馬斯克的人物頭像，讓 AI 將其自動(dòng)組合起來。

鏈接直達(dá)：https://app.heygen.com/home

它可以一次性輸出 4 張圖片，說實(shí)話生成效果有點(diǎn)搞笑，AI 筆下的馬斯克雖然磨皮拉滿，但好像更顯老了。如果細(xì)看，圖二中的馬斯克還缺了根手指。

接著就是寫腳本或者上傳音頻，需要注意的是，上傳音頻時(shí)長不超過 15 秒。我們可以讓 AI 幫忙生成腳本，或者直接輸入文字，選擇系統(tǒng)提供的聲音，生成一段帶貨音頻。當(dāng)然我們也可以通過克隆音色生成帶貨音頻，再進(jìn)行上傳、視頻生成。

來看看最終效果， AI 馬斯克煞有介事地推薦著 Labubu：

「Hello, I’m Elon — yes, it’s really me.I’ve sent people to Mars, but today, I’m sending this to your home.It’s called Labubu. Don’t be fooled by its quirky-cute looks — it’s the hottest little monster on the planet.」

如今，市面上不少 AI 視頻生成應(yīng)用都實(shí)現(xiàn)了完美的對(duì)口型功能，比如谷歌 Veo3、快手可靈、字節(jié)即夢(mèng)等，只要上傳一張人物手持產(chǎn)品的圖片，再輸入口播文本或音頻，也能達(dá)到同樣的效果。

不過它們都還無法自定義帶貨主播和產(chǎn)品，相較于這一點(diǎn)，HeyGen 還是走出了一條差異化之路。當(dāng)然，這一領(lǐng)域也不乏競(jìng)爭對(duì)手，比如 Topview。其玩法和 HeyGen 相差無幾，都是上傳一張人物頭像和一張產(chǎn)品圖，然后合成一張人物帶貨圖片，繼而生成相應(yīng)視頻。

鏈接：https://www.topview.ai/gen/product-avatar

Topview 分為兩種模式：Manual Mode（手動(dòng)模式）和 Auto Mode（自動(dòng)模式）。手動(dòng)模式需要我們調(diào)整產(chǎn)品圖片尺寸，使其和人物頭像匹配，每次可生成兩張，但效果不穩(wěn)定，比如圖 2 就出現(xiàn)了人與物品的分離。

自動(dòng)模式則是 AI 自動(dòng)調(diào)整拼合，官方還給出了提示詞：The model in Image 1 is holding the item from Image 2. Maintain the consistency of the model's appearance, composition, and positioning from Image 1, and adjust the gesture to fit the size and appearance of the item. The item must remain consistent with the one in Image 2.（圖 1 中的模特正拿著圖 2 中的物品，要保持圖 1 中模特的外觀、構(gòu)圖以及位置不變，同時(shí)調(diào)整其手勢(shì)，使其與圖 2 中物品的大小和外觀相匹配，并且圖 2 中的物品需保持原樣。）

生成效果更拉胯，不僅奧特曼美顏過度，手里拿的蘋果手機(jī)還一大一小，尺寸對(duì)不上。

從中挑選一張順眼的圖片，點(diǎn)擊「Create Avatar」，AI 自動(dòng)設(shè)計(jì)數(shù)字人動(dòng)作提示，再選擇配音或者克隆音色即可。

從生成效果來看，相比于 HeyGen，Topview 還欠點(diǎn)火候。無論是模特表情的自然度、對(duì)口型的準(zhǔn)確度，HeyGen 的表現(xiàn)更加亮眼。

從價(jià)格上來看，它倆都是付費(fèi)產(chǎn)品。HeyGen 針對(duì)個(gè)人創(chuàng)作者推出月付和年付計(jì)劃，月付是每月 29 美元（約合人民幣 207.76 元），年付則是每月 24 美元（約合人民幣 171.94 元），可以生成無限量短視頻，無水印，1080p 輸出，每月 5 分鐘 Avatar IV 視頻等。

Topview 價(jià)格稍微便宜一些，月付 138 元人民幣，年付是 74.8 元人民幣，每月 50 個(gè)積分，可免費(fèi)生成 5 個(gè)聲音克隆項(xiàng)目，每個(gè)圖片說話的視頻最長 3 分鐘等。

扒一扒背后的公司

創(chuàng)業(yè)這事兒，有時(shí)候還真是東方不亮西方亮，就比如 HeyGen 背后的這家公司，別看其官網(wǎng)從頭到尾一派英文，但往前追溯幾年它還是一家深圳公司。

HeyGen 兩位創(chuàng)始人徐卓和梁望也都來自中國，且同為校友。他們本科均畢業(yè)于同濟(jì)大學(xué)，研究生則畢業(yè)于卡內(nèi)基梅隆大學(xué)，只不過前者專攻計(jì)算機(jī)專業(yè)，后者則是人機(jī)交互專業(yè)。

HeyGen 聯(lián)合創(chuàng)始人兼 CEO 徐卓（Joshua Xu）碩士畢業(yè)后在 Snapchat 工作了 6 年，在商業(yè)化、推薦算法、機(jī)器學(xué)習(xí)平臺(tái)和人工智能相機(jī)等多個(gè)公司產(chǎn)品中擔(dān)任核心角色。

另一位聯(lián)創(chuàng)兼 CPO 為梁望（Wayne Liang），曾任字節(jié)跳動(dòng)產(chǎn)品設(shè)計(jì)負(fù)責(zé)人。

后來，徐卓回國創(chuàng)業(yè)成立了詩云科技，并推出產(chǎn)品詩云馬良，這是一款 AI 作畫、AI 換臉應(yīng)用，但在國內(nèi)不溫不火，已于前年 1 月 31 日停止服務(wù)。

國內(nèi)創(chuàng)業(yè)沒泛起什么水花，徐卓再次把眼光投向海外。2022 年，徐卓和梁望在洛杉磯創(chuàng)立了 HeyGen。HeyGen 最初名為「Movio」，是一個(gè)利用生成式人工智能創(chuàng)建視頻的平臺(tái)，推出 7 個(gè)月就實(shí)現(xiàn)了 100 萬美元的 ARR（年度經(jīng)常性收入），并保持連續(xù) 9 個(gè)月 50% 的月環(huán)比增長率。

業(yè)績不錯(cuò)，使得 HeyGen 的融資也很順利，2024 年 6 月，HeyGen 在一輪融資中籌集了 6000 萬美元，公司估值達(dá)到 5 億美元。據(jù)有關(guān)媒體報(bào)道，HeyGen 的最新 ARR 已經(jīng)達(dá)到 8000 萬美金，今年有望突破 1 億美金，團(tuán)隊(duì) 100 人左右。由于該公司一直盈利，上一輪融的錢基本上都在銀行里吃利息。

延伸閱讀：

2 分鐘玩轉(zhuǎn) HeyGen 最新模型：一張照片 + 一句話，秒出 AI 分身！超逼真！

謹(jǐn)以此文，向飛天獎(jiǎng)的 AI 整活視頻「致敬」

口型幾乎完美、還能卡點(diǎn)，霉霉說地道中文的視頻火了，背后 AI 工具原來是它

參考鏈接：

https://x.com/minchoi/status/1935842891085025690

https://x.com/EHuanglu/status/1935699485537231218

https://x.com/techhalla/status/1935727516708131123

文中視頻鏈接：https://mp.weixin.qq.com/s/ifUdL6mig874aAiwKIUF4w