AI好好用報道

編輯：楊文

為了考住Veo2,也是難為人類了。

總被 OpenAI 壓著打的谷歌，終于揚眉吐氣了！

最近，谷歌連上幾款大模型，個個備受好評。

，接著又，直接對著 OpenAI 的 Sora 貼臉開大。

據介紹，Veo2 能生成 2 分鐘以上時長、4k 分辨率的視頻，也能理解提示詞中的相機控制指令，還能重建出符合真實世界的物理交互和人臉表情。

同時，在基于人類評估者的對比評估中整體表現遠超對手。

（該圖也側面顯示，在 AI 視頻生成模型方面，中國真的沖到了第一梯隊，成為谷歌也不容小覷的對手）

一眾大佬也齊刷刷為其站臺。

官方給出的演示視頻也相當驚艷。

《權力與游戲》中的龍在高樓大廈間穿梭，這效果是不是吊打不少視覺特效師？

（視頻來自X博主@shlomifruchter）

一只貓對著鏡子中的自己咆哮，但它看到的卻是自己像獅子一樣在吼叫：

（Prompt:A cat roars while looking at its reflection in the mirror but instead sees itself as a lion roaring.）

谷歌 DeepMind 研究員 @babaeizadeh 還制作了一系列動畫風格的土豆小人情景喜劇。

（Prompt:anime style footage of two potatoes having a sword fight. cinematic, fastpaced with a lot of shotcuts.)

不過，與幾個月之前的 Sora 類似，Veo2 目前也尚未對公眾開放。

這也意味著，社交平臺上的 Veo2 生成視頻，要么時官方精挑細選出來的，要么是科技博主們一手評測出來的。

此外，這些放出來的視頻時長均為 8 秒，分辨率也不超過 720p。

Veo2 的實際效果究竟如何？

我們或許可以從科技博主的測評視頻中找到一些端倪。

Veo2 也逃不過翻車的命運嗎？

目前，已經有不少國外科技博主拿到了 Veo2 試用「門票」，并在社交平臺上放出來各種測評視頻。

從這些測評視頻中，我們發現Veo2 確實進步一大截，但也存在不少老生常談的問題。

并未完全理解物理世界

X 博主 @shlomifruchter 是谷歌 Deepmind Veo 的聯合負責人。

他用 Veo2 生成了一系列將水果扔進水里的視頻。

比如，把幾顆飽滿的藍莓丟進水中，無論是藍莓入水后的浮沉，還是泛起的水泡、濺起的水花，乍一看都沒毛病，但一細究就會發現杯子的水位并沒有上升。

（視頻來自 X 博主 @shlomifruchter）

再比如鐵球垂直砸入裝滿硬幣的盒子，最初的「爆炸性」運動生成得很真實，但在「飛」走很多硬幣后，盒子里又冒出了比開始還多的硬幣。

（視頻來自谷歌 DeepMind 成員.@hhm）

DeepMind 研究科學家 @MattMcGill_評論稱，在沒有感官反饋的情況下，視頻生成模型很難像人類一樣準確地模擬和修正物理現象，從而導致生成的視頻中出現許多物理錯誤。

這就像在缺乏感官基礎的夢境中，人可以漂浮著下樓梯，物體之間可以隨意轉換，時間可以變得非線性等。

并未嚴格遵循提示詞

風投公司 a16z 合伙人 Justine Moore 也測試了幾個 Prompt。

其中一個Prompt：giraffe librarian in a sweater and jeans putting books back on a shelf.（穿著毛衣和牛仔褲的長頸鹿圖書管理員把書放回書架上。）

對于這個長頸鹿圖書管理員的穿著，Veo2 領悟得很到位，但它并沒有把書放回書架。

Justine Moore 在回復中表示，有 25% 到 50% 的情況下模型能夠成功地完成任務或給出正確的結果。它在處理復雜任務、運動量大的場景以及分布外推理方面的能力有了顯著提升，但仍有改進空間。

谷歌 DeepMind 成員@hhm 輸入 Prompt: Bear writing the solution to 2x-1=0. But only the solution!（熊在寫解方程 2x - 1 = 0 的解，但只寫解！）

（視頻來自 X 博主 @hhm）

黑板上確實呈現出正確的答案，只不過小熊并沒有在寫字，它只是拿著一塊黑板而已。

手部細節生成異常

在某些細節方面，Veo2 也經不起推敲。

比如這個女孩在云端跳舞的視頻，眼尖的觀眾會發現畫面驚現三條胳膊。

還有下面這個一群人圍坐在一起吃火鍋的片段，右側穿紅衣服的女生一度出現 4 根手指，左下角的男生手部則不斷扭曲虛化。

（Prompt：zoom out from hotpot to a group of friends eating.）

搞不定復雜的體育動作

對于 AI 來說，生成體操動作仍是一大難題。

這是因為 AI 需要能夠捕捉到運動員在空中的旋轉、翻轉等動作，并且生成的視頻要保持流暢和連貫。

同時運動員在翻轉時可能出現身體部位的相互遮擋，這增加了模型生成視頻時處理遮擋關系的難度。

下面這個 Veo2 生成的體操動作視頻就是一個失敗的案例：重力失靈、運動員騰空翻轉時身體不正常扭曲等。

X 博主 @jerrod_lew 發布了一個 Veo2 生成的體育類視頻合集，里面有多處詭異的情形。

網球拍擊球的角度不正確，背后的力度看起來不夠；跑步者的手突然反向運動，使得生成的動作不自然、不符合人體運動規律等。

（視頻來自 X 博主 @jerrod_lew）

還有這個機器人和人類踢足球的視頻，人類和機器人的手臂會互相穿過；在無人觸碰的情況下，球會自己旋轉移動等。

（Prompt:Soccer of the future, mixing people and robots. This is a fragment from a 2024 cinematic movie.）

國外科技博主橫評

不少博主還發布了 Veo 2 和其他視頻生成模型對比的視頻。

Prompt: A pair of hands skillfully slicing a ripe tomato on a wooden cutting board. 提示詞：雙手熟練地在木菜板上切成熟的西紅柿。

Prompt: An astronaut exploring an underwater alien shipwreck. 提示詞：宇航員探索水下外星沉船。

Prompt：A bartender making an old-fashioned cocktail. 提示詞：調酒師正在調制老式雞尾酒。

Prompt: A video of a person sitting in a cafe with a coffee. After a bit, cuts to another viewpoint to reveal that a person nearby table is writing a letter to them. 提示詞：一個人坐在咖啡館喝咖啡的視頻。過了一會兒，切到另一個視角，發現旁邊桌子上的一個人正在給他們寫信。

Prompt: A sloth playing a game of Jenga made of a bunch of donuts. 提示詞：一只樹懶正在玩由一堆甜甜圈制成的 Jenga 游戲。

Prompt: a tracking shot, follows an ice skater gliding across an ice rink that appears to be floating amidst the clouds. 提示詞：跟蹤鏡頭，一名滑冰者滑過溜冰場，溜冰場漂浮在云層中。

Prompt: NYC drone footage. Hyperlapse during the night. Brooklyn bridge. 提示詞：紐約無人機鏡頭，夜間延時攝影，布魯克林大橋。

X 博主 @blizaine 還用同一套提示詞分別測試了 Veo 2、Sora、Runway、Luma、Pika、hailuoAI、可靈 1.5、混元。

盡管在科技博主的一番測評下，Veo2 吊打其他對手，但我們還是想說，先別急著下結論，畢竟曾經的 Sora 也一度被捧上天，最后還是逃不掉翻車的命運。

https://x.com/blizaine/status/1868850653759783033

https://x.com/doomie/status/1868735125003157841

https://x.com/emollick/status/1868897308529787248

https://x.com/jerrod_lew/status/1868771525660381410

https://x.com/DaBrusi/status/1869019445550825680

https://x.com/venturetwins/status/1869112033817641161

https://x.com/agrimgupta92/status/1868745017571131582

https://x.com/shlomifruchter/status/1868741814985044257

https://x.com/AngryTomtweets/status/1868954948282503533

以后我們會帶來更多好玩的AI評測，也歡迎大家進群交流。

? THE END

轉載請聯系本公眾號獲得授權