動畫短片《龍門》劇照。
受訪者供圖
近期,由中國傳媒大學動畫與數(shù)字藝術(shù)學院DigiLab實驗室制作的動畫短片《龍門》,獲得第三屆巴西Tietê(“鐵特”音譯)國際電影獎實驗短片單元最佳影片提名。該動畫短片使用原創(chuàng)生成式人工智能(AIGC)技術(shù),是國內(nèi)首部全部以AI技術(shù)制作的水墨動畫短片。
目前,AIGC已經(jīng)在美術(shù)、影視、文學、音樂等創(chuàng)作領域產(chǎn)生廣泛影響,動畫領域也不例外。面對人工智能的挑戰(zhàn)與機遇,中國傳媒大學動畫與數(shù)字藝術(shù)學院院長王雷帶領實驗室?guī)熒鷪F隊,從2023年初開始嘗試訓練水墨風格的AI視頻生成模型。團隊通過對開源AIGC技術(shù)的二次開發(fā)調(diào)整,訓練出了擁有自主產(chǎn)權(quán)的人工智能模型“墨池”(Inkstone),經(jīng)過大量反復試錯,開發(fā)完善了水墨插畫風格的文生視頻、圖生視頻、視頻風格化等AI流程!洱堥T》就是應用這些技術(shù)完成的試驗短片。
產(chǎn)生靈動的質(zhì)感
水墨動畫將中國水墨畫引入到動畫制片,是最具代表性的中國動畫形式,也是動畫創(chuàng)作中非常有難度的一個片種。傳統(tǒng)水墨動畫的制作流程較為繁復,水墨效果也很難以人手控制。因此,想要做出一個連貫流暢的水墨動態(tài)效果并不容易,成本也較高。直到現(xiàn)在,除了《小蝌蚪找媽媽》《山水情》《牧笛》等經(jīng)典作品,以水墨創(chuàng)作的動畫數(shù)量并不多。
“2022年下半年,我開始感到AIGC技術(shù)將給水墨動畫帶來新的發(fā)展契機。因為AI能夠加速水墨動畫的制作過程,一個畫面里多達上百個的筆觸可以用AI來完成!蓖趵渍f。
走進DigiLab實驗室,各式電腦設備擺滿了辦公桌,幾位老師和同學正在細細打磨新的動畫作品。中國傳媒大學動畫與數(shù)字藝術(shù)學院副教授段雯鍇,也是《龍門》的導演、技術(shù)總監(jiān),介紹了運用“墨池”制作動畫的工作流程:藝術(shù)家需要將創(chuàng)意準確地告訴“墨池”,引導它按照藝術(shù)家的想法來生成結(jié)果。生成結(jié)果有時會存在偏差,因此需要藝術(shù)家理解技術(shù)原理并不斷地嘗試!芭cAI溝通需要以技術(shù)或圖形化的方式進行,比如輸入文字、三維圖像,或者提供參數(shù)等!倍析╁|說,目前網(wǎng)絡上大部分AIGC視頻或圖片生成工具的隨機性較大,要想做出有明確主題表達的作品,每個元素都需要非常精準的掌控。因此,在制作《龍門》的時候,DigiLab實驗室?guī)熒鷪F隊采用了真人實拍加綠幕摳像的方式,在這個過程中拍攝了很多角色動作,“墨池”會將實拍素材進行打磨,并補充出更多細節(jié),最后形成水墨暈染的效果。
這是一個人機溝通的過程,也是一個從創(chuàng)意到實踐的過程。《龍門》就是DigiLab實驗室?guī)熒鷪F隊與“墨池”溝通的產(chǎn)物。“墨池”采用多模態(tài)視頻生成方式,攻克了諸多技術(shù)難題,在角色面部特征穩(wěn)定性、較長鏡頭生成中,降低了視頻抖動與局部錯誤,使畫面擁有靈動而充滿意境的水墨質(zhì)感。
“水墨動畫是中國動畫學派的核心和瑰寶。如果我們用新技術(shù)能生成跟以往一樣,甚至更好的效果,對整個中國動畫行業(yè)都是有所貢獻的!蓖趵渍f。
呈現(xiàn)新的視覺效果
說起“墨池”模型的研發(fā),王雷想起了一些有趣的故事。AIGC訓練和生成需要算力,開發(fā)“墨池”正值夏天,實驗室里所有的電腦都在全力運轉(zhuǎn)。實驗室變得非常熱,團隊成員來到別的地方辦公,遠程操控電腦!翱諢o一人的實驗室也能繼續(xù)‘熱火朝天’的創(chuàng)作,可見技術(shù)讓創(chuàng)作模式發(fā)生了多大的改變。”王雷說。
建立“墨池”模型的過程充滿挑戰(zhàn)。AIGC作為新技術(shù),缺乏足夠的現(xiàn)成材料,需要不斷地做測試。王雷告訴筆者:“過程中,我們經(jīng)歷了大量試錯和遇到問題不知如何解決的時刻,這也是經(jīng)驗積累的過程。”段雯鍇說,在訓練自主模型的過程中,自己每天都會接觸到新技術(shù),需要不斷更替優(yōu)化。
段雯鍇結(jié)合動畫生產(chǎn)細節(jié)舉例說,如果用二維或者三維動畫的方式去創(chuàng)作水墨動畫,會涉及貼圖、燈光渲染等方式,生成的畫面精度較低,AI則可以做到細節(jié)的無限添加。“AIGC能夠?qū)崿F(xiàn)傳統(tǒng)動畫創(chuàng)作模式不敢做或無法實現(xiàn)的效果,開創(chuàng)動畫新的視覺路線!彼f。
“AIGC技術(shù)對動畫界的影響,可能相當于手機拍照功能之于攝影界,能夠給創(chuàng)作者帶來新的可能!蓖趵妆硎,AIGC技術(shù)一方面降低了創(chuàng)作門檻,讓普通人就可以做出簡單的動畫,并通過在短視頻平臺的分享,讓動畫更貼近日常生活;另一方面,這項技術(shù)還能催生更多更加快捷的專業(yè)化工具,呈現(xiàn)更加令人驚嘆的視覺效果!拔覀儚臉I(yè)者還需要進一步思考技術(shù)和內(nèi)容表達的關(guān)系,在技術(shù)迅速更迭的時代發(fā)揮所長,掌握技術(shù)的自主性和獨創(chuàng)性,用好技術(shù)做更專業(yè)的內(nèi)容!蓖趵渍f。
據(jù)悉,中國傳媒大學已經(jīng)和英特爾公司聯(lián)合創(chuàng)辦了AIGC創(chuàng)作實踐中心。強大的硬件能力加持,相信將有助于高校和平臺收獲更多成果。
“墨池”模型目前主要能生成一種風格的水墨動畫。DigiLab實驗室團隊已經(jīng)策劃了新的項目,將逐步豐富“墨池”的家族譜系,迭代“墨池”,并在未來的動畫制作和教學中加以應用!扒拜厒円呀(jīng)將傳統(tǒng)流程做得非常優(yōu)秀了,往前走則是我們應當做的思考!蓖趵渍f,AIGC時代,如何開拓前沿,在國際舞臺上持續(xù)釋放中國動畫與數(shù)字藝術(shù)行業(yè)的巨大潛力,是動畫科研創(chuàng)作者們不斷努力的方向。