讓馬斯克秒變帶貨主播。
還記得那個讓霉霉說地道中文、郭德綱講英語相聲的 HeyGen 嗎?
最近它又上新了「產品植入」功能,只需一張人物頭像和一張產品圖片,就能讓任何人給任何產品「帶貨」。
比如,讓蓋爾?加朵、霉霉和伊萬卡分別手持 Labubu、百事可樂、Gucci 經典包包說著一段廣告詞,無論是表情、口型還是手勢,都相當自然逼真流暢。
或者讓蒙娜麗莎、帶珍珠項鏈的女孩在線推銷商品:
還有網友完全用 AI 生成人物和產品圖片搞了段帶貨視頻,這要是去掉 HeyGen 水印,再放到社交媒體上,又能忽悠了不少人。
不少網友看了這些 case,紛紛表示這將重新定義廣告行業。
HeyGen 是一款 AI 視頻生成平臺,但與可靈、即夢、Runway 等不同,它專注于數字人視頻的制作。用戶只需輸入文本腳本,就能一鍵生成高質量的虛擬人像視頻,并支持多種語言和方言。
此外,HeyGen 還探索出不少五花八門的功能。比如 Video Podcast,只需上傳網站鏈接或 pdf 文檔即可生成雙人 AI 視頻播客。
再比如 Interactive Avatar,通過該功能,我們可以和各種虛擬形象進行實時互動,有點類似于給虛擬人打電話。
還有兩項 Beta 測試版功能 ——Instant Highlights 和 URL to Video。前者是把長視頻一鍵剪成多個精彩片段,后者則是粘貼產品列表鏈接即可立即生成促銷視頻內容。
一手體驗
今天,我們就詳細介紹下 HeyGen 的「產品植入」功能的玩法。
打開 HeyGen 官網,選擇「Product Placemengt」功能,分別上傳一張 Labubu 的產品圖像和一張馬斯克的人物頭像,讓 AI 將其自動組合起來。
鏈接直達:https://app.heygen.com/home
它可以一次性輸出 4 張圖片,說實話生成效果有點搞笑,AI 筆下的馬斯克雖然磨皮拉滿,但好像更顯老了。如果細看,圖二中的馬斯克還缺了根手指。
接著就是寫腳本或者上傳音頻,需要注意的是,上傳音頻時長不超過 15 秒。我們可以讓 AI 幫忙生成腳本,或者直接輸入文字,選擇系統提供的聲音,生成一段帶貨音頻。當然我們也可以通過克隆音色生成帶貨音頻,再進行上傳、視頻生成。
來看看最終效果, AI 馬斯克煞有介事地推薦著 Labubu:
「Hello, I’m Elon — yes, it’s really me.I’ve sent people to Mars, but today, I’m sending this to your home.It’s called Labubu. Don’t be fooled by its quirky-cute looks — it’s the hottest little monster on the planet.」
如今,市面上不少 AI 視頻生成應用都實現了完美的對口型功能,比如谷歌 Veo3、快手可靈、字節即夢等,只要上傳一張人物手持產品的圖片,再輸入口播文本或音頻,也能達到同樣的效果。
不過它們都還無法自定義帶貨主播和產品,相較于這一點,HeyGen 還是走出了一條差異化之路。當然,這一領域也不乏競爭對手,比如 Topview。其玩法和 HeyGen 相差無幾,都是上傳一張人物頭像和一張產品圖,然后合成一張人物帶貨圖片,繼而生成相應視頻。
鏈接:https://www.topview.ai/gen/product-avatar
Topview 分為兩種模式:Manual Mode(手動模式)和 Auto Mode(自動模式)。手動模式需要我們調整產品圖片尺寸,使其和人物頭像匹配,每次可生成兩張,但效果不穩定,比如圖 2 就出現了人與物品的分離。
自動模式則是 AI 自動調整拼合,官方還給出了提示詞:The model in Image 1 is holding the item from Image 2. Maintain the consistency of the model's appearance, composition, and positioning from Image 1, and adjust the gesture to fit the size and appearance of the item. The item must remain consistent with the one in Image 2.(圖 1 中的模特正拿著圖 2 中的物品,要保持圖 1 中模特的外觀、構圖以及位置不變,同時調整其手勢,使其與圖 2 中物品的大小和外觀相匹配,并且圖 2 中的物品需保持原樣。)
生成效果更拉胯,不僅奧特曼美顏過度,手里拿的蘋果手機還一大一小,尺寸對不上。
從中挑選一張順眼的圖片,點擊「Create Avatar」,AI 自動設計數字人動作提示,再選擇配音或者克隆音色即可。
從生成效果來看,相比于 HeyGen,Topview 還欠點火候。無論是模特表情的自然度、對口型的準確度,HeyGen 的表現更加亮眼。
從價格上來看,它倆都是付費產品。HeyGen 針對個人創作者推出月付和年付計劃,月付是每月 29 美元(約合人民幣 207.76 元),年付則是每月 24 美元(約合人民幣 171.94 元),可以生成無限量短視頻,無水印,1080p 輸出,每月 5 分鐘 Avatar IV 視頻等。
Topview 價格稍微便宜一些,月付 138 元人民幣,年付是 74.8 元人民幣,每月 50 個積分,可免費生成 5 個聲音克隆項目,每個圖片說話的視頻最長 3 分鐘等。
扒一扒背后的公司
創業這事兒,有時候還真是東方不亮西方亮,就比如 HeyGen 背后的這家公司,別看其官網從頭到尾一派英文,但往前追溯幾年它還是一家深圳公司。
HeyGen 兩位創始人徐卓和梁望也都來自中國,且同為校友。他們本科均畢業于同濟大學,研究生則畢業于卡內基梅隆大學,只不過前者專攻計算機專業,后者則是人機交互專業。
HeyGen 聯合創始人兼 CEO 徐卓(Joshua Xu)碩士畢業后在 Snapchat 工作了 6 年,在商業化、推薦算法、機器學習平臺和人工智能相機等多個公司產品中擔任核心角色。
另一位聯創兼 CPO 為梁望(Wayne Liang),曾任字節跳動產品設計負責人。
后來,徐卓回國創業成立了詩云科技,并推出產品詩云馬良,這是一款 AI 作畫、AI 換臉應用,但在國內不溫不火,已于前年 1 月 31 日停止服務。
國內創業沒泛起什么水花,徐卓再次把眼光投向海外。2022 年,徐卓和梁望在洛杉磯創立了 HeyGen。HeyGen 最初名為「Movio」,是一個利用生成式人工智能創建視頻的平臺,推出 7 個月就實現了 100 萬美元的 ARR(年度經常性收入),并保持連續 9 個月 50% 的月環比增長率。
業績不錯,使得 HeyGen 的融資也很順利,2024 年 6 月,HeyGen 在一輪融資中籌集了 6000 萬美元,公司估值達到 5 億美元。據有關媒體報道,HeyGen 的最新 ARR 已經達到 8000 萬美金,今年有望突破 1 億美金,團隊 100 人左右。由于該公司一直盈利,上一輪融的錢基本上都在銀行里吃利息。
延伸閱讀:
2 分鐘玩轉 HeyGen 最新模型:一張照片 + 一句話,秒出 AI 分身!超逼真!
謹以此文,向飛天獎的 AI 整活視頻「致敬」
口型幾乎完美、還能卡點,霉霉說地道中文的視頻火了,背后 AI 工具原來是它
參考鏈接:
https://x.com/minchoi/status/1935842891085025690
https://x.com/EHuanglu/status/1935699485537231218
https://x.com/techhalla/status/1935727516708131123
文中視頻鏈接:https://mp.weixin.qq.com/s/ifUdL6mig874aAiwKIUF4w
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.