2024年開年，科技圈沒有什么比Sora的出現(xiàn)更讓人興奮。如同ChatGPT在2023年初帶來的LLM創(chuàng)業(yè)潮，Sora的發(fā)布也同樣將視頻生成模型推到了風(fēng)口浪尖。科技巨頭猛推產(chǎn)品，創(chuàng)業(yè)公司則乘風(fēng)而上。3月13日，AI視頻大模型公司愛詩科技完成億元級人民幣A1輪融資；3月12日，生數(shù)科技完成數(shù)億元A輪融資；3月1日，AI視頻生成 SaaS服務(wù)商「布爾向量」完成近千萬元融資...Sora首次踐行了DiT架構(gòu)，將過去各自獨立的擴(kuò)散模型和大模型融合在了一起，也將視頻生成模型的歷史翻開了新的篇章。毫無疑問，一場新的技術(shù)風(fēng)暴正在到來。一夜之間，國內(nèi)大大小小的視頻生成大模型爭搶“中國版Sora”的標(biāo)簽。為了探究這個問題的答案，「自象限」通過國內(nèi)已有的視頻生成產(chǎn)品進(jìn)行實際體驗，并結(jié)合公開信息、第三方檢測機(jī)構(gòu)數(shù)據(jù)等多個維度，對當(dāng)下主流的視頻生成模型進(jìn)行了全面評估。我們將從產(chǎn)品設(shè)計、實測效果和行業(yè)分析三個角度，全面探究，究竟誰能成為“中國版Sora”？?DIT的創(chuàng)新，誰能復(fù)刻？
Sora的風(fēng)雖然才剛剛從大洋彼岸吹到了中國，但視頻生成卻不是什么新鮮的話題。在此之前，這個賽道已經(jīng)經(jīng)歷了Runway的Gen-2、Pika1.0和谷歌VideoPoet的幾波革命浪潮，終于來到了生成效果更好、時間更長、邏輯性更強(qiáng)、更穩(wěn)定性的“Sora”時刻。「自象限」梳理繪制出了國內(nèi)視頻大模型公司及產(chǎn)品的基本情況。
▲圖：國內(nèi)外視頻生成大模型企業(yè)一覽，訪問量以2024年2月計
本文來源于廣告門 adquan.com
在國外，谷歌、微軟這類“硅谷老錢”很早就投入到了多模態(tài)視頻生成的研究中。去年，谷歌發(fā)布了多模態(tài)大模型Gemini和VideoPoet視頻大模型，讓人從直觀的效果層面看到了多模態(tài)生成視頻的可能性。在國內(nèi)，多模態(tài)技術(shù)路徑方向上我們看到了更多的可能性，既有技術(shù)積累深厚的大廠百度，也有大模型獨角獸公司智譜，還有像生數(shù)科技、智象未來一類以多模態(tài)大模型為目標(biāo)的創(chuàng)業(yè)公司。擴(kuò)散模型路線是文生視頻的主流路線，在保證效果生成上發(fā)揮著重要的作用，所以即使是驚為天人的Sora在底層架構(gòu)上也只是改造，而非全盤顛覆。無論國內(nèi)外，在這條道路都最為擁擠，首先是一手打造和開源擴(kuò)散模型的Stability AI公司，緊跟其后的是猛猛向前沖的Runway、Pika，然后才是OpenAI、Meta、英偉達(dá)這些巨頭。回到國內(nèi)，騰訊、阿里、字節(jié)三個大廠在前期幾乎包攬了視頻生成領(lǐng)域的研究，時不時地拋出一個demo小小地驚艷一下。但真的談到落地產(chǎn)品，還是創(chuàng)業(yè)公司明顯更快一步，比如愛詩科技、Morph studio、右腦科技等公司已經(jīng)開始面向用戶開放。被稱之為“Sora路線”的DiT，全稱為Diffusion Transformer，本質(zhì)是把訓(xùn)練大模型方法機(jī)制融入到了擴(kuò)散模型之中，從Sora技術(shù)報告呈現(xiàn)的結(jié)果來看，大力出奇跡之下可能會產(chǎn)生世界物理模擬器的效果。如今，Sora的底層架構(gòu)被扒了個遍，訓(xùn)練的組件和技術(shù)也在開源的路上，但這也并不意味著人手一個Sora指日可待，技術(shù)、數(shù)據(jù)、算力、訓(xùn)練規(guī)模都是一道道關(guān)卡。近期，Sora核心團(tuán)隊負(fù)責(zé)人在采訪中透露：“Sora目前還處于反饋獲取階段，還不是一個產(chǎn)品，短期內(nèi)不會向公眾開放?！?/section>從技術(shù)路線上看，國內(nèi)的愛詩科技是少數(shù)從一開始就堅持了DiT路線的企業(yè)，其創(chuàng)始人王長虎在公開采訪中談到，Sora的出現(xiàn)驗證了愛詩視頻生成大模型的方向正確性。正因如此，愛詩科技定下了“3—6 個月趕超Sora”的目標(biāo)，抓住機(jī)會，奮起直追。?產(chǎn)品實測，用戶“跑分”
在視頻生成模型賽道，目前國內(nèi)的創(chuàng)業(yè)公司大致可以分為兩類。一類是以愛詩科技（PixVerse）、生數(shù)科技（PixWeaver）、 Morph Studio和智象未來（Pixeling）為代表的自研基礎(chǔ)大模型，聚焦通用場景的視頻生成工具。另一類則包括右腦科技（Vega AI）、李白AI實驗室（神采promeai）、毛線球科技（6PenArt）、布爾向量（boolv.video）和MewXAI（藝映AI）。這一類數(shù)量更多，也更加產(chǎn)品化，專注于解決某一類場景下的問題，更像是一個AIGC的在線編輯平臺。我們的測試和評比通過三個部分組成，分別是使用門檻，基礎(chǔ)產(chǎn)品功能和內(nèi)容生成能力。首先是使用門檻。我們測試的8款產(chǎn)品，都已經(jīng)支持通過網(wǎng)站使用產(chǎn)品（許多創(chuàng)業(yè)公司產(chǎn)品只能通過Discord使用），也都可以免費試用。但其中，僅有愛詩科技的PixVerse不限制免費試用次數(shù)，其他產(chǎn)品都有三到五次的試用限制，超過試用次數(shù)之后就需要開通會員或充值能量使用，價格從幾元到幾百元不等。除了PixVerse之外，其他產(chǎn)品在付費之前基本都有功能限制，比如藝映AI和Pixeling只能生成2s、4s的視頻，更長的視頻則需要付費。所以從使用門檻上綜合考慮，PixVerse對用戶要更加友好，在這一板塊相對更有優(yōu)勢。其他產(chǎn)品在使用門檻上則相對平均。我們測試的8款產(chǎn)品，除了神采Promeal和6PenArt之外，都同時具備文生視頻和圖生視頻的能力。而神采Promeal和6PenArt只具備圖生視頻的能力，不具備直接文生視頻的能力。除了這兩家之外，其他廠家就比較成熟，但產(chǎn)品功能差異卻比較大。其中，愛詩科技的PixVerse在基礎(chǔ)功能之上還增加了豐富的輔助功能，比如除了正向提示詞，用戶還可以輸入負(fù)向提示詞，要求生成畫面中不要出現(xiàn)某些元素。圖片生成視頻時，用戶也可以撰寫提示詞控制輸出效果?？梢赃x擇視頻風(fēng)格，可以調(diào)節(jié)畫面比例等等。同類產(chǎn)品中，只有Pixeling擁有負(fù)向提示詞、圖生視頻提示詞和視頻比例調(diào)節(jié)，只有藝映AI可以調(diào)節(jié)視頻風(fēng)格、畫面比例。大模型的技術(shù)水平?jīng)Q定視頻生成的質(zhì)量，而產(chǎn)品能力則決定了大模型是否能夠被很好地利用，與應(yīng)用場景相結(jié)合。對于視頻生成產(chǎn)品而言，功能的豐富程度決定了用戶上手的容易程度，對視頻生成的掌控能力，并最終影響輸出結(jié)果和用戶體驗。所以從產(chǎn)品的完善程度和功能完整度上，PixVerse整體領(lǐng)先，智象未來的Pixeling排名第二，藝映AI第三，Vega AI第四。其中布爾向量相對例外，作為專注跨境電商的視頻生成工具，其在特定場景下功能更加齊全易用，但在視頻生成方面相對缺乏競爭力。當(dāng)然，基本功能之外，更核心還是視頻生成效果。所以第三部分是視頻內(nèi)容生成能力測試。首先是視頻生成時長。Sora目前能夠生成60s的視頻，但國內(nèi)創(chuàng)業(yè)公司的視頻生成大模型，時長大多集中在2s~4s左右，差距并沒有特別大。其次是依據(jù)提示詞的內(nèi)容表現(xiàn)能力。Sora發(fā)布時，輸出過這樣一段視頻，其提示詞是：美麗，白雪皚皚的東京街道很繁華。幾個人在附近的小攤上享受著美麗的雪天并購物。美麗的櫻花花瓣和雪花在風(fēng)中飛舞。
▲Sora依據(jù)這段提示詞生成的視頻
依據(jù)這段提示詞，我們也分別使用愛詩科技的PixVerse、右腦科技的Vega AI、MewXAI和智象未來的Pixeling生成了同樣一段視頻。（由于生數(shù)科技的PixWeaver網(wǎng)頁端暫停試用，故未納入測評）4s的內(nèi)容基本還原了提示詞中提到的所有關(guān)鍵詞，同時體現(xiàn)了“繁華”和“小攤”的氛圍。鏡頭跟著畫面緩緩?fù)七M(jìn)，視頻整體風(fēng)格保持一致，建筑、燈光、路旁的樹木、行人都比較真實，畫面沒有明顯卡頓，除了人物行走稍有些不自然之外，沒有出現(xiàn)元素扭曲。
▲PixVerse依據(jù)這段提示詞生成的視頻
同樣4s的內(nèi)容，同樣只有一個鏡頭，順著人流密集的街道緩緩?fù)七M(jìn)。但與PixVerse將場景放到華燈初上的傍晚不同，VegaAI選擇的是白天。與愛詩科技的PixVerse相比，VegaAI的人物腳步混亂情況更加嚴(yán)重，部分人物在行走過程中從兩只腳變成三只腳，然后又消失不見。此外，部分人物的生成也非常模糊，只有一個人影且在不斷變幻。
▲Vega AI依據(jù)這段提示詞生成的視頻
與PixVerse和VegaAI有一定的鏡頭運(yùn)動不同 ，藝映AI生成的視頻鏡頭是固定的，也是這幾個視頻中唯一一個選擇了正面視角的視頻。但選擇正面視角也同樣給藝映AI帶來一個問題，即在人物的面部表情沒有辦法很好地處理。視頻中迎面走來的兩個人面部一直沒有穩(wěn)定下來。此外，藝映AI也同樣存在人物移動的問題，但由于生成的視頻只有2s，表現(xiàn)得并不明顯。
▲藝映AI依據(jù)這段提示詞生成的視頻
第四是智象科技的Pixeling，4s的視頻，采用固定鏡頭，人物往前運(yùn)動。類似的畫面，除了同樣存在人物生成、移動等方面的問題之外，Pixeling對語義的理解明顯更淺。比如提示詞中的“繁華”，前面的視頻都通過燈光、街道店鋪、人流來進(jìn)行表現(xiàn)，但Pixeling選擇的卻是一個雨天小巷，人流也比較少。整個畫面顯得比較冷清。此外，提示詞中的“購物”該視頻中也并沒有體現(xiàn)。
▲Pixeling依據(jù)這段提示詞生成的視頻
最后是Morph Studio。其官網(wǎng)尚未開放公測，「自象限」通過Discord進(jìn)行測試。Morph Studio有趣的地方有兩個，其一是英文提示詞的生成效果要大大好于中文提示詞?！缸韵笙蕖瓜仁峭ㄟ^中文提示詞生成視頻，得到的結(jié)果與提示詞毫不相關(guān)，隨后「自象限」將提示詞改為英文，輸出的效果直線提升。從視頻內(nèi)容上看，Morph Studio的視頻生成只有3s，要比其他產(chǎn)品的時長都要短，清晰度要比其他產(chǎn)品更低一些，但整體畫面內(nèi)容更加寫實。從細(xì)節(jié)上看，Morph Studio生成的視頻仍然存在細(xì)節(jié)模糊扭曲，人物“漂移”、出現(xiàn)又消失等問題。
▲Morph Studio依據(jù)這段提示詞生成的視頻
在文生視頻之外，剩下兩位只支持“圖生視頻”的玩家——神采Promeal和6PenArt。但這兩位，在圖生視頻上的表現(xiàn)也并不好。其中，神采Promeal僅支持單張圖片生成“動態(tài)圖”，也沒有提示詞功能。因此生成的視頻人物形象扭曲，沒有實際使用價值。
▲神采Promeal依據(jù)圖片生成的視頻
對比來看，6PenArt更像一個AIGC的內(nèi)容社區(qū)，圖片生成和視頻生成只是其中一個能力。但6PenArt并不支持直接通過提示詞生成視頻，而是需要先在平臺通過提示詞生成圖片，然后將圖片轉(zhuǎn)化成視頻。「自象限」通過提示句“一只正在散步柯基，嘴里叼著一朵花。”生成了四張圖片。然后以這四張圖片為基礎(chǔ)，用提示詞“一只在春天里奔跑的小狗?！鄙梢曨l。
▲6PenArt依據(jù)圖片生成的視頻
可以看到，這個視頻仍然停留在“動態(tài)圖片”的狀態(tài)，與視頻相差甚遠(yuǎn)。因為從產(chǎn)品使用體驗上，布爾向量的boolv.video更像是一個AI編輯器的概念，當(dāng)我們輸入一段提示詞之后，系統(tǒng)會自動將提示詞拆解成多個腳本、分鏡，然后撰寫文案，分別輸出多段視頻。生成視頻之后，用戶可以對每一個分鏡進(jìn)行編輯，替換視頻、更換旁白和聲音等等。
▲圖片：boolv.video截圖
但boolv.video的視頻生成能力其實很有限，既無法理解深度語義，也不能生成與提示詞準(zhǔn)確對應(yīng)的視頻內(nèi)容。在我們以上測試的產(chǎn)品中，嚴(yán)格意義上只有PixVerse、Morph Studio是專注于視頻生成的大模型，其他產(chǎn)品都是由早期文生圖、圖生圖的AIGC應(yīng)用演變而來。
▲圖片：測試產(chǎn)品是否專注于視頻生成
回過頭來，我們依據(jù)多次測試，針對以上提到的產(chǎn)品進(jìn)行了整理。從對提示詞的理解能力、畫面的邏輯表達(dá)能力、畫面細(xì)節(jié)的表現(xiàn)，到視頻生成的質(zhì)量、畫面的一致性、穩(wěn)定性和流暢性等角度。在測試的8個產(chǎn)品后，綜合對比下來，愛詩科技旗下的PixVerse和Morph Studio綜合能力相對較好，右腦科技的VegaAI排名第二，藝映AI第三，Pixeling第四。
最后，從整個測評從使用門檻，到產(chǎn)品功能，再到內(nèi)容生成能力，中國創(chuàng)業(yè)公司的各類產(chǎn)品各有千秋。但整體來看，在中國創(chuàng)業(yè)公司中，愛詩科技的PixVerse整體能力略高一籌，是中國最具備Sora氣質(zhì)的產(chǎn)品。其次是Morph Studio，這兩者構(gòu)成中國視頻生成模型的第一梯隊。其次包括VegaAI、藝映AI、Pixeling則共同處在第二梯隊（生數(shù)科技因產(chǎn)品暫停使用，未納入測評），最后神采Promeai、6PenArt和boolv.video則在第三梯隊。?用生產(chǎn)力工具，形成數(shù)據(jù)飛輪?
事實上，對比了國內(nèi)科技巨頭和創(chuàng)業(yè)公司到目前為止的落地產(chǎn)品后的情況我們會發(fā)現(xiàn)，大公司更慢，反而是創(chuàng)業(yè)公司的產(chǎn)品和用戶規(guī)模跑地更快。李彥宏也曾經(jīng)提到：大公司做小創(chuàng)新，小公司才能做大改變。而想要真正在激烈的角逐中突圍，目前來看，除了技術(shù)路線選擇和產(chǎn)品本身的能力外，產(chǎn)品的使用場景、用戶體驗、行業(yè)應(yīng)用等等綜合維度，仍然是視頻生成模型比拼的關(guān)鍵。產(chǎn)品使用場景方面，如前文所言，一類公司在埋頭做新工具而另一類公司則將技術(shù)嵌入在某些成熟的產(chǎn)品中，這是兩條完全不同的路線。對于工具類的產(chǎn)品，產(chǎn)品力的一個核心體現(xiàn)在于：能否成為生產(chǎn)力工具。讓我們簡單回顧一下Midjourney的發(fā)展歷程就會發(fā)現(xiàn)，Midjourney V5版本是文生圖歷史上的一個關(guān)鍵臨界點，無論是從效果、準(zhǔn)確性和速度等多方面的因素來看，V5正式從“玩具”蛻變成了生產(chǎn)力工具，而這一次產(chǎn)品能力的突破，帶來的是用戶大規(guī)模涌入，數(shù)據(jù)飛輪開始轉(zhuǎn)動，效果日新月異。
▲圖：網(wǎng)友制作的V1-V6的生成效果對比圖，來源X
對比“V5時刻”我們發(fā)現(xiàn)，視頻生成模型也即將迎來奇點。通過真實的測評我們發(fā)現(xiàn)，PixVerse生成的視頻在主體一致性、運(yùn)動平滑度、運(yùn)動幅度、清晰度等方面都更具備使用價值。在生產(chǎn)力工具的前提下，也分為兩條產(chǎn)品路線，一類是如Adobe公司踐行的走專業(yè)工具的路線，讓專業(yè)的人更專業(yè)，另一類則是如Word一般，讓普通人也能成為生產(chǎn)力。在這個問題上，Pika創(chuàng)始人郭文景在采訪時表示Pika并不是電影制作工具，而是為日常消費打造的產(chǎn)品。PixVerse的思路則更加明確，相比于Pika分層訂閱的商業(yè)模式，PixVerse在用戶量和視頻效果都處于全球第一梯隊的前提下，仍在持續(xù)向世界各地免費開放，這是目前其它視頻生成產(chǎn)品都難以企及的。也正是由于用戶友好的態(tài)度和領(lǐng)先的視頻生成效果，讓PixVerse的飛輪先轉(zhuǎn)了起來。根據(jù)第三方數(shù)據(jù)監(jiān)測平臺顯示，目前PixVerse的用戶規(guī)模與Pika處于同等量級，其訪問量也遠(yuǎn)超國內(nèi)其他主流視頻生成產(chǎn)品。（數(shù)據(jù)來源：similarweb.com）
▲PixVerse，與Pika，Runway產(chǎn)品頁面2024年2月數(shù)據(jù)對比
▲國內(nèi)主要文生視頻產(chǎn)品2月數(shù)據(jù)對比
▲國內(nèi)主要文生視頻產(chǎn)品數(shù)據(jù)走勢
通過調(diào)研我們發(fā)現(xiàn)，愛詩科技還積極在國內(nèi)外贊助/舉辦各類AI大賽，推動技術(shù)加快落地的同時，也在加速實現(xiàn)技術(shù)普惠。這個過程中，也有越來越多的用戶感受到其產(chǎn)品PixVerse的優(yōu)勢。除此之外，愛詩科技的用戶生態(tài)做得非常突出，X上每天都會涌現(xiàn)大量使用PixVerse創(chuàng)作的視頻內(nèi)容，覆蓋英語、漢語、日語、西班牙語等多地區(qū)。這是其它國內(nèi)品牌完全不具備的優(yōu)勢，也一定程度上反映了市場的選擇。
▲作者：Michael Heina 視頻來源：X
▲作者：Ameli Caotica 視頻來源：X
“PixVerse第一個優(yōu)點是免費、免費、免費；第二個優(yōu)點是操作簡便且有效，我只需要把圖片放進(jìn)去，不寫任何prompt，讓PixVerse自己決定畫面運(yùn)動,往往都能得到滿意的結(jié)果。期待PixVerse可以實現(xiàn)更大幅度的運(yùn)動以及更長更穩(wěn)定的視頻?！?2024 MIT AI電影黑客松最佳影片提名獎獲得者反饋到。自象限認(rèn)為，免費并不意味著放棄商業(yè)化，而是在產(chǎn)品打磨的初期，通過這樣的方式獲得真實的用戶使用體驗和用戶生成后的高質(zhì)量視頻數(shù)據(jù)，再反哺給視頻生成模型，將迭代的速度加快，形成數(shù)據(jù)—訓(xùn)練的飛輪。
?結(jié) 語?
綜合來看，目前國內(nèi)整個視頻生成模型的技術(shù)仍然在效仿國外，但以愛詩科技為首的創(chuàng)業(yè)公司已經(jīng)找到了自己的發(fā)展節(jié)奏和模式，正通過產(chǎn)品設(shè)計、用戶規(guī)模、運(yùn)營策略等綜合能力進(jìn)行全面趕超。相比之下，Sora目前并未開放，能否承受住大規(guī)模用戶同時在線尚未可知，能否能每次都做到準(zhǔn)確、一致的1分鐘視頻生成仍有待檢驗。所以，并不一定非要找到中國版Sora，以愛詩科技為代表的中國視頻大模型公司，已經(jīng)走出了新的、獨立的上升曲線。
掃碼登錄
請輸入搜索內(nèi)容……
點贊
20
收藏
微信分享
系客服.png)
