Seedance 2.0全量上線 字節(jié)跳動入局春節(jié)模型競爭
此前預(yù)熱期間就備受用戶關(guān)注的Seedance 2.0提前發(fā)布，字節(jié)跳動正式參與到春節(jié)模型大戰(zhàn)中。
按照原計劃，字節(jié)跳動本打算在2月14日推出視頻模型Seedance 2.0、圖像創(chuàng)作模型Seedream 5.0 Preview以及豆包大模型2.0。
據(jù)字節(jié)跳動公布的信息，Seedance 2.0采用統(tǒng)一的多模態(tài)音視頻聯(lián)合生成架構(gòu)，可接收文字、圖片、音頻、視頻四種模態(tài)的輸入，整合了當(dāng)前行業(yè)內(nèi)較為全面的多模態(tài)內(nèi)容參考與編輯功能。
字節(jié)跳動稱，Seedance 2.0支持混合模態(tài)輸入，用戶能夠同時輸入最多9張圖片、3段視頻、3段音頻和自然語言指令。
該圖片可能由AI生成
多模態(tài)參考能力演示：提示詞：@圖片1 女孩打破次元壁，連續(xù)穿越多幅名畫世界，保留真實(shí)質(zhì)感，油畫世界呈現(xiàn)3D高飽和度動畫風(fēng)格。她站在@圖片2的旋轉(zhuǎn)星空下神情激動；接著好奇看著@圖片3的情侶擁抱，情侶不好意思地用被子將頭遮??；隨后與@圖片4戴珍珠耳環(huán)少女一起自拍；緊接著進(jìn)入@圖片5在兩名武士中間穿過；與@圖片6一起扮鬼臉吶喊；跑到@圖片7蒙娜麗莎身旁，被摸頭貼臉；在@圖片8女人面前轉(zhuǎn)身換裝，二人互行禮；隨后與@圖片9中的梵高一起畫畫；最后背對鏡頭看夕陽，隨即轉(zhuǎn)身甜美一笑。對比度高，電影質(zhì)感，轉(zhuǎn)場絲滑無縫，人物鮮活。
實(shí)測顯示，用戶可直接在交互界面選擇“全能參考”生成模式，還能在提示詞里用@符號標(biāo)記參考圖，以確保生成內(nèi)容的一致性。
根據(jù)平臺提示，生成5秒視頻需扣除40個點(diǎn)數(shù)，因大量用戶排隊，5秒視頻生成預(yù)計需2小時，系統(tǒng)提供2次免費(fèi)加速機(jī)會，但受版權(quán)等因素限制，部分名人相關(guān)圖片無法生成內(nèi)容。
和之前的1.5版本相比，Seedance 2.0有幾個主要特點(diǎn)：生成質(zhì)量更高、復(fù)雜交互和運(yùn)動場景下可用性更強(qiáng)、更符合物理學(xué)規(guī)律等。
字節(jié)官方表示，Seedance 2.0解決了物理規(guī)律遵循、長效一致性的難題，核心依靠海量世界知識、稀疏架構(gòu)的效能優(yōu)勢，以及多模態(tài)聯(lián)合訓(xùn)練涌現(xiàn)的泛化能力。
該圖片可能由AI生成
生成內(nèi)容物理規(guī)律遵循能力演示：提示詞 競技級雙人花樣滑冰現(xiàn)場。開場低機(jī)位跟隨冰刀滑行，冰屑與反光細(xì)節(jié)清晰。進(jìn)入旋轉(zhuǎn)段，男選手軸線微偏出現(xiàn)失誤，旋轉(zhuǎn)節(jié)奏短暫塌陷。女選手迅速調(diào)整重心，眼神冷靜并示意“Stay with me”，主動引導(dǎo)男選手重新對齊節(jié)奏。隨后無縫銜接托舉動作，線條干凈穩(wěn)定。高潮為同步跳躍組合，空中姿態(tài)筆直，落冰果斷，音畫完美對齊。女選手身著深藍(lán)花滑裙，男選手為競技運(yùn)動裝。整體呈現(xiàn)從緊張失誤到冷靜完成比賽的完整敘事，體現(xiàn)頂級雙人花樣滑冰中的技術(shù)能力與心理強(qiáng)度。
此外，在生成過程中，用戶可利用Seedance 2.0的視頻編輯能力，對指定片段、角色、動作或劇情進(jìn)行定向修改。
字節(jié)跳動還強(qiáng)調(diào)，Seedance 2.0最長支持15秒的多鏡頭視頻生成，這提升了它在影視、廣告等領(lǐng)域的實(shí)用性，有助于降低內(nèi)容制作成本。
需要注意的是，目前即夢的APP端和PC端雖都整合了Seedance 2.0模型，但功能存在一定差異。
例如在移動端，“出鏡”功能默認(rèn)使用Seedance 2.0，需錄制真人并完成校驗(yàn)，創(chuàng)作功能中則提供了Seedance 2.0 fast及之前的模型。
而在PC端，用戶可在視頻生成的全能參考、首尾幀兩個入口使用Seedance 2.0。
對此，字節(jié)跳動一內(nèi)部人士解釋，這主要是基于不同設(shè)備應(yīng)用場景的差異，為創(chuàng)作者提供了不同的創(chuàng)作能力。
字節(jié)跳動透露，在文生視頻和圖生視頻涉及的運(yùn)動穩(wěn)定性、指令遵循、音畫同步等基準(zhǔn)測試（如上圖）中，Seedance 2.0大幅領(lǐng)先于OpenAI的Sora 2 Pro、快手可靈3.0等產(chǎn)品。不過同時也指出，模型在細(xì)節(jié)穩(wěn)定性、擬真度以及多人口型匹配等方面仍需持續(xù)改進(jìn)。
在多模態(tài)任務(wù)方面（如上圖），和生數(shù)的Vidu Q2 Pro、快手的可靈3.0等相比，Seedance 2.0在提示詞指令遵循、多模態(tài)遵循兩個維度表現(xiàn)最為突出，在編輯一致性、參考對齊和動態(tài)質(zhì)量上，也處于行業(yè)第一梯隊水平。
字節(jié)跳動表示，Seedance 2.0在多模態(tài)任務(wù)處理上，指令響應(yīng)更完整，生成畫面更真實(shí)。在一致性表現(xiàn)上，模型在主體形象與聲音還原方面相對較好，但也提到模型在多主體一致性、文字還原精度及復(fù)雜編輯效果上仍有優(yōu)化空間。
本文來自“騰訊科技”，作者：蘇揚(yáng)，36氪經(jīng)授權(quán)發(fā)布。
本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。
免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com