百家乐官网 (中国)有限公司官网

澎湃Logo
下載客戶端

登錄

  • +1

Sora為何出道即碾壓主流AI視頻模型:文生視頻最長紀錄,對世界有全面認知

澎湃新聞記者 胡含嫣
2024-02-19 07:30
來源:澎湃新聞
? 10%公司 >
字號

近日,AI(人工智能)新銳巨頭OpenAI推出文生視頻模型Sora,將人們的視線再次引到了AI視頻生成賽道。

由于在AI生成視頻的時長上成功突破到一分鐘,再加上演示視頻的高度逼真和高質量,Sora立刻引起了轟動。不過,OpenAI尚未宣布Sora對公眾正式開放的日期。Sora將首先被提供給安全團隊,以評估產品的危害或風險,一些視覺藝術家、設計師和電影制作人也能獲得Sora的訪問權限。

在Sora推出之前,已經出現了一些用戶認可度較高的AI生成視頻模型。為什么Sora能引發如此大的轟動?多家外媒對三款熱門文生視頻模型Runway、Pika Labs和Stable Video進行了分析,并比較了Sora和它們之間的技術差別。

時長:60秒 vs 16秒

在Sora橫空出世之前,Runway一直被視為AI生成視頻的默認選擇,尤其是自去年11月推出第二代模型以來,Runway還被稱為“AI視頻界的MidJourney”。第二代模型Gen-2不僅解決了第一代AI生成視頻中每幀之間連貫性過低的問題,在從圖像生成視頻的過程中也能給出很好的結果。

Runway能夠生成已經很逼真的四秒短視頻。來源:Runway

而在Sora發布后,Runway的CEO克里斯托瓦爾·巴倫蘇埃拉(Cristóbal Valenzuela)便在X平臺上發布了兩個字:“Game On(比賽開始了)。”

Sora最震撼的技術突破之一在于其輸出的視頻時長。Runway能夠生成4秒長的視頻,用戶可以將其最多延長至16秒,是AI生成視頻在2023年所能達到的最長時長紀錄。Stable Video也提供4秒的視頻,Pika則提供3秒的視頻。在這一方面,Sora以1分鐘的時長向競爭對手們提出了挑戰。

Sora傳播度最高的時長60秒的視頻之一,女子行走在東京街頭。來源:Sora

Sora模型能夠實現視頻時長突破,主要功臣是其所采用的擴散Transformer架構,而Sora的創始者之一、現任OpenAI工程師的William Peebles剛在去年和別人一同發布了針對該架構的研究論文。

本質上,Sora和Pika、Runway采用了相似的底層模型,即Diffusion擴散模型。不同之處在于,Sora把其中的實現邏輯進行了變化,將U-Net架構替換成了Transformer架構。

不過目前,外界尚不清楚Sora提供了哪些功能以供用戶定制輸出視頻,因此Runway仍可能是Sora的替代方案之一。今年1月,Runway剛宣布,用戶將能夠通過多頭運動筆刷(Multi Motion Brush)功能實現對AI生成視頻中多個元素的運動控制。此外,Runway也因其提供了集合多種AI工具的視頻制作解決方案而備受推崇。

鏡頭語言:運動鏡頭 vs 靜止視角 

值得注意的是,X平臺上的一些用戶表示,在OpenAI推出Sora的2月15日晚上,AI視頻生成初創公司Stability AI也在官網和X平臺上發布了新動態,宣布了Stable Video Diffusion更新1.1版本。但是,幾分鐘后,這兩條消息都迅速消失了。

被Stability刪掉的文章截屏。來源:X平臺

外界無從得知這究竟是由于操作失誤,還是Stability觀察到了兩種AI生成視頻之間的巨大質量差異,選擇重新制作廣告。Stable Video和前兩款產品一樣,都沒能脫離現有文生視頻的一般模式,即輸出單一的、通常是靜止視角的短視頻片段。相比之下,Sora的宣傳視頻包括變換攝像機角度、電影式剪輯和場景變換,也就是人們常說的鏡頭語言的使用。

此外,許多分析都指出,Sora帶有世界模型的特質。所謂世界模型便是對真實的物理世界進行建模,讓機器能夠像人類一樣,對世界產生一個全面而準確的認知。這一特性使得AI視頻生成更流暢、更符合邏輯,降低了視頻模型的訓練成本,提升了訓練效率。

由Sora生成的“賽博朋克背景下機器人的生活故事”。來源:Sora

和Runway一樣,Stability AI的CEO埃馬德·莫斯塔克(Emad Mostaque)也在X平臺上感慨“奧特曼(OpenAI的創始人兼CEO)真是一個魔術師”,并稱Sora可以被視為AI視頻的GPT3,將在未來幾年內得到擴展、細化、調整和優化。

劣勢:有無免費選項,能否開源

和前輩們相比,Sora也存在兩個可能令其不會被用戶青睞的問題:有無免費選項,以及能否開源。

作為AI視頻領域的新晉競爭者,Pika Labs于去年11月推出了生成式AI視頻工具Pika 1.0,也在推出時憑借精美的演示視頻引起了轟動。Pika已于去年12月公開,與Runway具備相似的質量,并在短時間內建立了一個非常活躍的用戶社區。

Pika生成的視頻截圖。來源:Pika

最重要的是,和其他競爭對手相比,Pika提供了更具吸引力的免費使用選項。Runway只會給用戶125個不可續的免費積分,而Pika每天都會給用戶發放30個積分,這使得它在短時間內擁有了一個龐大且活躍的用戶社群。

Stability AI旗下的Stable Video Diffusion則是一款開源的視頻生成模型。類似于圖像版的Stable Diffusion,該模型可以根據用戶自己的需求進行定制,并且可以在個人設備上進行本地安裝,而Sora大概率永遠不會提供這種功能。

目前,Stable Video Diffusion也僅供部分用戶試用,在Stability的官網上可以加入等待列表。

    責任編輯:是冬冬
    圖片編輯:蔣立冬
    校對:施鋆
    澎湃新聞報料:021-962866
    澎湃新聞,未經授權不得轉載
    +1
    收藏
    我要舉報
            查看更多

            掃碼下載澎湃新聞客戶端

            滬ICP備14003370號

            滬公網安備31010602000299號

            互聯網新聞信息服務許可證:31120170006

            增值電信業務經營許可證:滬B2-2017116

            ? 2014-2024 上海東方報業有限公司

            反饋
            百家乐官网tt娱乐城娱乐城| 网络百家乐官网漏洞| 真人百家乐官网口诀| 济州岛百家乐官网的玩法技巧和规则 | 明升网站| 澳门百家乐网站bt| 百家乐官网3号眨眼技术| 自贡百家乐赌场| 百家乐官网庄闲和各| 云顶国际娱乐| 百家乐龙虎台布| 百家乐官网智能投注系统| 棋牌赌博| 海口太阳城大酒店| 属狗的和虎的做生意好吗 | 现金百家乐信誉| 百家乐官网赌博讨论群| 大发888娱乐场 b8| 网上百家乐平台下载| 澳门百家乐官网网上直赌| 大发888大发娱乐场| 百家乐娱乐城体育| 澳门百家乐官网登陆网址| 百家乐百家乐技巧| 24山玄空飞星排盘图| 大发888真钱游戏祖比| 赌场百家乐网站| 百家乐大赢家客户端| 百家乐官网冯氏坐庄法| 斗地主棋牌游戏| 百家乐高额投注| 百家乐游戏算牌| 百家乐官网怎么玩最保险| 真人游戏排行榜| 百家乐心得打法| 百家乐官网园试玩| 赌场百家乐官网信誉| 百家乐官网最低投注| 88娱乐城天上人间| 大发888有哪些| 全讯网vc8888.com|