《企飛江北》第154期
一個動畫垂類大模型,在新區誕生
凌晨3點17分,新區企業炫佳科技的一間實驗室里,首席科學家武文博士與團隊成員緊盯屏幕,共同觀看一支動畫樣片。有趣的是,這支樣片是全AI生成、畫面精度達到了4K影視工業級標準。確認動畫達到預期標準的瞬間,大家都情不自禁擊掌慶祝。
“這意味著,我們自主研發的Kino動畫垂類大模型訓練成功了。”武文說,“這是一次技術突破,也是底層邏輯的創新。”
一個“低成本”的垂類大模型
作為當下最受關注的前沿技術, AI的應用越來越廣泛。利用 AI技術,生成文案、圖片、視頻等內容,這樣的生成式人工智能(AIGC)也正走進我們的生活,吸引眾多企業涌入賽道。
深耕視聽行業多年的炫佳科技,就奔跑在這一風口之上。去年,公司推出了 “Kino-AIGC視聽制作平臺”,利用AI進行腳本創作、角色創建、分鏡生圖、視頻剪輯等。而隨著公司業務量日益增加,一個問題也由此顯現:與文本生成相比,視頻生成的計算量更大,畫質與成本之間也難以平衡。
△“Kino-AIGC視聽制作平臺”
“我們必須找到第三條路徑。”武文感慨。正因于此,團隊開始尋找“低成本”的解決方法,他們創造性提出“GAN+Diffusion Transformer”混合架構。據介紹,這套架構可以將復雜問題“拆解”,既能快速生成低分辨率草稿,又能無縫升級至4K超清,實現“快速出片”和“極致畫質”間的自由切換。
基于這套創新架構,從公司的業務核心動畫板塊出發,炫佳團隊訓練出了 Kino動畫垂類大模型。“我們精準‘喂養’了5萬分鐘動畫素材,最終僅用8張H100顯卡就實現了動畫制作。”武文介紹。
彼時,恰好一家頭部動畫公司發來需求,希望團隊在一個月內完成 10集4K動畫制作。利用這一動畫大模型,炫佳不僅完成了任務,還將單集番劇的制作周期從2周縮短至3天,預計制作成本下降超過70%。
更廣闊的應用空間
低成本、少語料、高效率,Kino動畫垂類大模型的成功訓練,帶來的是技術范式的變化。“不僅是動畫,短劇、音樂甚至特效、場景等,都可以進行模型迭代。”武文說。
例如,在近日舉行的第二十一屆中國(深圳)國際文化產業博覽交易會上,炫佳科技作為南京文化特色企業亮相,其與廣西廣電聯合推出的出海微短劇也成為展區焦點。
這部短劇,完全由AI生成,從演員、場景、劇情到配音,都與海外觀眾喜好適配。據了解,短劇還搭載“智能文化適配引擎”,可實現中、英、泰等六國語言同步譯制,角色對話也能保留原聲韻律。
“這部短劇,就來源于我們的Kino短劇垂類大模型。”武文介紹,當前,短劇大模型還在技術迭代中,投入應用后,可助力國產爆款短劇出海。此外,炫佳團隊還構建了一個“數字資產模型超市”,覆蓋文化遺產活化、虛擬拍攝、IP開發等場景。在他們的設想中,未來,無論是還原敦煌飛天動畫,還是搭建各種幻想場景,都將有垂直且低成本的大模型來制作。
△炫佳科技制作的《流浪月球》
“科技與文化猶如鳥之雙翼,我們希望用AIGC技術,為行業發展提供新動能。”
武文向小北透露,近期,在華為南京研究所內,炫佳科技技術團隊也在與昇騰計算團隊進行聯合攻關。雙方合作的“鯤鵬計劃”已完成昇騰910B芯片適配測試,8K雪崩特效生成效率提升65%。待技術路徑“跑通”,炫佳的AI視頻技術就可以實現“全國產化”。從單點突破到生態共建,這個團隊想做的還有很多。
素材來源 | 炫佳科技
文| 高媛
發布 | 徐雅瑩、吳小榮
審核 | 王馨
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.