文| 劉澍

這是好萊塢“五大”首次在華擁抱AI，不僅自破了曾經(jīng)公開抵制AI的宣言，而且扶持了本土創(chuàng)作者和技術(shù)公司，是全球頭部電影公司合作國(guó)內(nèi)科技文化人才和成果的一次成功嘗試。

潑墨成畫，萬物皆可毒藥。

隨著一點(diǎn)墨跡暈染整個(gè)屏幕，毒液以自由靈動(dòng)之姿變幻為戰(zhàn)馬、魚、鶴等形態(tài)，肆意穿梭于海陸空，更能化身“毒液孔明燈”露出頑皮笑容，最后以本姿態(tài)落在中式樓閣的屋頂上，傲視周圍。

10月23日，正值《毒液：最后一舞》登陸全國(guó)院線，索尼電影官微發(fā)布了一支由AI制作的水墨風(fēng)宣傳片，引發(fā)了業(yè)內(nèi)外的劇烈熱議。

△ 《毒液：最后一舞》水墨風(fēng)獲網(wǎng)友好評(píng)

一方面在內(nèi)容畫面維度，眾人驚嘆于AI創(chuàng)作的精細(xì)度和絲滑度，另一方面在行業(yè)趨勢(shì)維度，這是好萊塢“五大”首次在華擁抱AI，不僅僅只是制作了一部好看的預(yù)告片，而且?guī)椭吮就羷?chuàng)作者和技術(shù)公司，是全球頭部電影公司合作國(guó)內(nèi)科技文化人才和成果的一次成功嘗試。

日前，基于這支AI宣傳片，極客電影獨(dú)家專訪了視頻的幕后核心——導(dǎo)演楊晟和北京生數(shù)科技有限公司（以下簡(jiǎn)稱：生數(shù)科技）產(chǎn)品總監(jiān)張旭東，邀請(qǐng)他們各自從內(nèi)容和技術(shù)的角度，分享了宣傳片的制作過程、相關(guān)難點(diǎn)和所用的AI模型Vidu，以及AI應(yīng)用于影視行業(yè)的趨勢(shì)觀點(diǎn)。

△ 楊晟導(dǎo)演

△ 北京生數(shù)科技有限公司產(chǎn)品總監(jiān)張旭東

01 合規(guī)之內(nèi)，AI支持和增強(qiáng)創(chuàng)意實(shí)現(xiàn)：

索尼對(duì)AI的支持態(tài)度體現(xiàn)在尊重藝術(shù)家的需求，而不是強(qiáng)加功能或限制。

楊晟直言，AI宣傳片是索尼、生數(shù)科技和他自己三方碰撞出來的結(jié)果。

最開始，索尼的要求是制作一支足夠具有東方元素和中國(guó)特色的視頻，但是不能透露太多劇情，方式則不限定。

這顯然是一個(gè)開放性命題，給了藝術(shù)家很大空間，楊晟很興奮。

作為索尼重點(diǎn)扶持的導(dǎo)演，他認(rèn)為索尼更深層次的想法是：內(nèi)容本身優(yōu)質(zhì)之外，制作方式也要走在行業(yè)前沿，產(chǎn)生廣泛的影響力。

就此，楊晟選擇聯(lián)合生數(shù)科技，共同完成命題。

生數(shù)科技是一家成立于2023年3月的新興科技公司，核心成員來自清華大學(xué)人工智能研究院，其自研的AI模型Vidu是國(guó)內(nèi)首個(gè)長(zhǎng)時(shí)長(zhǎng)、高一致性、高動(dòng)態(tài)性的視頻大模型，支持文生視頻、圖生視頻、主體參照等功能，這次的AI宣傳片即由藝術(shù)家與Vidu合作執(zhí)行。

△ Vidu

據(jù)楊晟透露，索尼曾專門派人到生數(shù)科技，用一張2018年出圈的水墨風(fēng)海報(bào)去檢驗(yàn)Vidu的能力。

現(xiàn)場(chǎng)，張旭東演示了數(shù)個(gè)版本的效果，得到了索尼的認(rèn)可，合作得以繼續(xù)推進(jìn)。

特別要提的是，考慮到合規(guī)性，索尼直接購(gòu)買了藝術(shù)家與楊晟團(tuán)隊(duì)所使用的200余張水墨風(fēng)原稿，然后再授權(quán)給楊晟團(tuán)隊(duì)基于Vidu創(chuàng)作?！?

簡(jiǎn)言之：承制方創(chuàng)作畫稿→索尼購(gòu)買畫稿→索尼授權(quán)畫稿→承制方使用畫稿生成視頻→索尼驗(yàn)收并發(fā)布。

整個(gè)流程類似于動(dòng)畫制作，而且是結(jié)合了日式和歐美式的動(dòng)畫生產(chǎn)方式，形成了一種新的工作流。

使用的過程里，Vidu相當(dāng)于攝影機(jī)、手機(jī)、PS或者Premiere，是創(chuàng)意實(shí)現(xiàn)的高效生產(chǎn)力工具。

這樣一來，索尼獲得了所需的創(chuàng)意效果，承制方則得到了實(shí)際操作的空間和自由度。

不過相關(guān)過程并非一蹴而就，在實(shí)際執(zhí)行環(huán)節(jié)里，楊晟與生數(shù)科技曾遇到過一個(gè)巨大挑戰(zhàn)，即藝術(shù)家與AI 技術(shù)人員在創(chuàng)作邏輯、主觀審美和工作方式等方面的理解差異。

對(duì)比來說，技術(shù)人員可能更注重技術(shù)和流程，而藝術(shù)家更注重創(chuàng)意和表現(xiàn)。

對(duì)于這種差異，轉(zhuǎn)譯工作就顯得尤為重要。楊晟和張旭東正式擔(dān)任了這種角色。

張旭東回憶，開始他不能對(duì)齊藝術(shù)家的需求和標(biāo)準(zhǔn)，比如什么樣的效果是導(dǎo)演更想要的。直到資深動(dòng)畫導(dǎo)演凱倫坐在工位旁，從藝術(shù)的角度下講解后，他逐漸理解了導(dǎo)演的藝術(shù)偏好，并和內(nèi)部美學(xué)專家討論后，轉(zhuǎn)譯成相應(yīng)的指令輸入給模型。

Vidu 作為一個(gè)通用模型，能夠理解和表達(dá)很多風(fēng)格，但如何寫出合適的 prompt 和生成模型進(jìn)行“溝通”，調(diào)動(dòng)起模型的能力來生成出藝術(shù)家想要的東西，確實(shí)需要懂模型技術(shù)的人和藝術(shù)家來共同完成。

△ Vidu參考文森特梵高《星月夜》生成的視頻

雙方深入溝通理解后，自然會(huì)促進(jìn)效能快速提升，張旭東分享到，根據(jù)策劃和原稿，Vidu僅用半個(gè)工作日就生成了上千支視頻，供給藝術(shù)家挑選和優(yōu)化，再?gòu)闹羞x出最優(yōu)質(zhì)的作品。

這種合作模式使得雙方都能充分發(fā)揮各自優(yōu)勢(shì)，極大節(jié)省了時(shí)間成本，提高了工作效率和產(chǎn)出效率，實(shí)現(xiàn)了高效率和高質(zhì)量的創(chuàng)意實(shí)現(xiàn)。

02 AI大模型Vidu：節(jié)省近90%的后期投入

用傳統(tǒng)影視的方式，制作一支30s的預(yù)告片大約需要30天，但是用Vidu只需要10個(gè)工作日。

談及應(yīng)用的技術(shù)原理，張旭東介紹，在圖生視頻之外，Vidu的首尾幀功能同樣對(duì)《毒液：最后一舞》的生成起到了重要作用。

這種作用特別體現(xiàn)在IP圖像的一致性上，比如經(jīng)常會(huì)看到這樣一種AI創(chuàng)作的情景，一個(gè)老爺爺牽著小女孩過馬路，一輛車駛過，下一秒老爺爺換了一個(gè)人。

首尾幀功能正好能盡力降低偏差率，以開頭和結(jié)尾的圖片約束和糾正影像細(xì)節(jié)，讓IP圖像前后高精度一致。

眾所周知，索尼在IP圖像上有嚴(yán)謹(jǐn)?shù)囊?，一絲一毫都不能有差錯(cuò)，而Vidu有效避免了圖變bug，這是國(guó)內(nèi)AI技術(shù)的一大進(jìn)步，也是AI應(yīng)用于影視IP的重大突破口。

張旭東進(jìn)一步表示，基于模型的不斷升級(jí)，當(dāng)下Vidu的一鍵生成視頻能力可以極大簡(jiǎn)化短片的制作流程，同步顯著提升相關(guān)生產(chǎn)效率。

制作同樣一支宣傳片，對(duì)比傳統(tǒng)影視的投入，Vidu節(jié)省了近90%的后期投入，驅(qū)動(dòng)總體的時(shí)間效率提升3倍。

數(shù)據(jù)規(guī)格上，Vidu能夠同時(shí)支持中英文指令輸入；時(shí)長(zhǎng)方面，模型最長(zhǎng)可支持一鍵32s視頻的生成，產(chǎn)品端開放了4s/8s的視頻時(shí)長(zhǎng)；畫面質(zhì)感方面，最高可輸出1080p分辨率。

張旭東還提到了Vidu未來的升級(jí)方向，他們起了一個(gè)名為“參考生視頻”的概念，希望Vidu可以參考相對(duì)多的物體，現(xiàn)在它能夠參考單個(gè)物體，例如用一雙鞋，模擬人穿鞋在月球上，生成一支廣告片；或者提供一個(gè)“怪獸”的形象，安排怪獸做一些事情，都能保持很好的一致性。

△ Vidu產(chǎn)品中的參考生視頻功能

未來，據(jù)生數(shù)科技介紹，Vidu也將補(bǔ)充風(fēng)格參考能力，提升生成視頻的品質(zhì)感和藝術(shù)性，并且在同種風(fēng)格呈現(xiàn)中，同并保持人物、場(chǎng)景、道具等多個(gè)物體的一致性。

另外，張旭東和楊晟還提到，Vidu的設(shè)計(jì)也能啟發(fā)藝術(shù)家，提供超出預(yù)期的創(chuàng)作新思路。

在《毒液：最后一舞》的宣傳片里，中式樓閣就是典型案例。

本來只是給了Vidu一個(gè)很大概的想法，做一個(gè)中式屋頂，但是Vidu既做出了合理性的補(bǔ)全預(yù)測(cè)和3D模型，也自動(dòng)生出了很驚艷的運(yùn)鏡和各類細(xì)節(jié)。

△ 《毒液：最后一舞》AI宣傳片的神運(yùn)鏡

值得說明一點(diǎn)，對(duì)于這支宣傳片，區(qū)別于絕大多數(shù)AI模型，Vidu的主要指令不是提示詞，而是首尾幀圖像。

這能更直觀地表達(dá)創(chuàng)作意圖，減少誤解，可以讓承制方更好地控制視頻的質(zhì)量和效果。

03 藝術(shù)家，只有跟科技公司結(jié)合才有未來

我們都在說影視工業(yè)化，真的到了那一天，就是創(chuàng)作者和科技公司緊密協(xié)作。宣傳片的藝術(shù)家團(tuán)隊(duì)都說，只有跟科技公司結(jié)合才有未來。

就在索尼發(fā)布AI宣傳片的同期，全球影視行業(yè)亦傳來兩大重磅消息。

一個(gè)是大導(dǎo)演詹姆斯·卡梅?。↗ames Cameron）官宣加入Stability AI公司，這家公司的開源模型Stable Diffusion在圖像生成領(lǐng)域有著舉足輕重的地位。

△ 詹姆斯卡梅隆加入Stability AI公司

詹姆斯·卡梅隆，面對(duì)生成式AI技術(shù)的崛起，他看到了AI與影像創(chuàng)作交匯的巨大潛力。

這兩種完全不同的創(chuàng)作引擎的融合，將為藝術(shù)家開啟全新的講故事方式，這是他們從未想象過的。

另一個(gè)是張藝謀談執(zhí)導(dǎo)《三體》，他直言，網(wǎng)友的正向或負(fù)向評(píng)價(jià)，他都接受，這會(huì)倒逼團(tuán)隊(duì)創(chuàng)新視聽表達(dá)。

△ 張藝謀執(zhí)導(dǎo)《三體》

他已經(jīng)精選十余位AI人才，組成AI小組，將運(yùn)用“中國(guó)制造”的新科技、新觀念開展創(chuàng)作。

隨著詹姆斯·卡梅隆和張藝謀的公開支持，影視行業(yè)將會(huì)加速AI應(yīng)用的進(jìn)程。反之，這也會(huì)驅(qū)動(dòng)AI科技公司快速精進(jìn)技術(shù)，全球范圍內(nèi)皆是如此。

就現(xiàn)在的AI水平，張旭東和楊晟說到，如果將AI模型的發(fā)展階段比作電影學(xué)院的學(xué)生，ChatGPT3.5相當(dāng)于初中生，可以理解部分內(nèi)容；GPT4相當(dāng)于研究生，思考較為全面；OpenAI o1則更進(jìn)一步，具有獨(dú)特的思維方式。

而隨著應(yīng)用案例和經(jīng)驗(yàn)愈多，AI 的“學(xué)歷”將更高。

現(xiàn)在，AI能夠記住更多的專業(yè)詞匯，理解并執(zhí)行復(fù)雜的微調(diào)任務(wù)，如3D動(dòng)態(tài)故事板著色；

其學(xué)習(xí)能力使得它在不同場(chǎng)景中的應(yīng)用更加靈活，可以根據(jù)具體需求進(jìn)行定制化訓(xùn)練，從而提高工作效率和效果。

通過AI的這些能力，可以降低對(duì)上層構(gòu)造數(shù)據(jù)的訓(xùn)練難度，使整個(gè)流程更加智能化和高效。

細(xì)分到鏡頭運(yùn)動(dòng)，AI通過學(xué)習(xí)和訓(xùn)練，能夠理解和應(yīng)用鏡頭運(yùn)動(dòng)的基本原理，如推拉搖移等，從而提升視頻的視覺效果。

以及，通過對(duì)大量電影和視頻的分析，AI能夠?qū)W習(xí)到鏡頭運(yùn)動(dòng)的基本規(guī)律，并在實(shí)際應(yīng)用中加以運(yùn)用。

△ Vidu生成的俯視視角視頻

△ Vidu生成的第一人稱視角視頻

這種對(duì)鏡頭運(yùn)動(dòng)的理解和應(yīng)用，使得AI在視頻制作中的應(yīng)用更加廣泛和深入，提升了整體的視覺體驗(yàn)和藝術(shù)效果。

而鑒于AI模型規(guī)模的擴(kuò)大和技術(shù)的升級(jí)，其性能和應(yīng)用范圍將得到進(jìn)一步提升。

未來，AI模型有望在更多領(lǐng)域發(fā)揮作用，如綠幕特效、視頻補(bǔ)全等，這會(huì)更大地降低視頻制作的難度和成本，更快速地提高創(chuàng)作效率。

然而，盡管效能在一直升級(jí)，但是現(xiàn)階段AI并不能完全替代人類的創(chuàng)造性勞動(dòng)，而是作為輔助工具存在。

許多人錯(cuò)誤地認(rèn)為AI可以直接生成商業(yè)化的內(nèi)容，但實(shí)際上，生成的內(nèi)容需要經(jīng)過一系列的加工和優(yōu)化，才能達(dá)到最終的商業(yè)標(biāo)準(zhǔn)。

畢竟，藝術(shù)作品的評(píng)價(jià)往往依賴于人的主觀感受。

但不能否認(rèn)，按照這樣的趨勢(shì)，AI將拓寬創(chuàng)作者的門檻，同時(shí)也提高了對(duì)藝術(shù)家的要求，它更重要地強(qiáng)調(diào)了藝術(shù)創(chuàng)作力的重要性，會(huì)讓強(qiáng)者會(huì)變得更強(qiáng)大。

預(yù)計(jì)在未來，AI能夠幫助更多有創(chuàng)意的人實(shí)現(xiàn)他們的想法，誕生更多優(yōu)秀的作品。