1
9月 24 日,字節(jié)跳動的豆包大模型發(fā)布多款新品——視頻生成、音樂生成以及同聲傳譯大模型。
可靈才剛升級1.5版本,和運動筆刷功能,現(xiàn)在確迎來最強對手字節(jié)的視頻生成模型豆包視頻生成模型。
這也意味著,在快手之后,國內(nèi)的兩大短視頻巨頭都進(jìn)入了AI視頻生成賽道。
可靈可以說是目前視頻生成領(lǐng)域綜合實力排世界第一的,現(xiàn)在字節(jié)終于也是要跳動起來了,字節(jié)的 “Sora” 模型一發(fā)布,一躍成為圖生視頻模型的新標(biāo)桿。
現(xiàn)在壓根沒有sora什么事了??
現(xiàn)在在AI視頻生成領(lǐng)域這一塊,中國可謂是真遙遙領(lǐng)先了??
在競逐激烈的AI視頻生成賽道,因為有著海量、豐富的高質(zhì)量視頻數(shù)據(jù)集,抖音、快手等短視頻平臺下場做視頻模型有著天然的優(yōu)勢。
2
豆包視頻生成大模型效果表現(xiàn)出色,主要體現(xiàn)在以下幾個方面:
比如輸入“他喝了一口咖啡;這時一個女人從畫面右側(cè)出現(xiàn),走到了他的身后?!?/p>
這樣的復(fù)雜描述,模型可以準(zhǔn)確地生成相應(yīng)的視頻內(nèi)容,人物的動作和表情能較好地契合指令所描述的情境,包括情緒的傳達(dá)也較為準(zhǔn)確。
5.風(fēng)格比例多樣:支持 3d 動畫、2d 動畫、國畫、黑白、厚涂等多種風(fēng)格,包含 1:1、3:4、4:3、16:9、9:16、21:9 等六個比例,能夠適配電影、電視、電腦、手機等各種設(shè)備以及不同的畫幅,為創(chuàng)作者提供了多樣化的選擇。
3
目前這個視頻生成模型只在火山引擎和即夢進(jìn)行小范圍的排隊和內(nèi)測,逐漸灰度中。
但是估計應(yīng)該很快大家都能在即夢平臺上用上最新視頻生成模型了。
因為字節(jié)要把即夢做成一個最強大的視頻生成平臺,從故事創(chuàng)作,到分鏡,再到圖片生成,再到視頻生成,生成好的視頻生成配樂(再也不用為一個視頻找半天BGM了),甚至連生成好的人物視頻加個語音幫你把人物口型都給配對好。
今天我們就來介紹一下即夢這個平臺
真正是一站式創(chuàng)作平臺,從圖片到視頻再到音樂全部幫你搞定。
4
單單圖片生成就有五大模型讓你選擇:
大幅提升了多樣性和真實的照片 質(zhì)感,開啟創(chuàng)新與設(shè)計的視覺夢
更精準(zhǔn)的描述詞響應(yīng)和多樣的風(fēng) 格組合,模型極具想象力!
從攝影寫實到繪畫風(fēng)格盡在掌握,支持用更自然的語言描述
優(yōu)化了影視風(fēng)格和鏡頭敘事性, 支持用更自然的語言描述
增強英文生成能力和參考圖可控 能力,使用引號強化文字效果
更是有多種比例可供選擇,涵蓋主流的比例
目前即夢平臺免費版每天都有送80積分,生成一次圖片四張圖才消耗一積分。
而且生成好的圖片可以:
主打不滿意改到滿意為止
還可以導(dǎo)入?yún)⒖紙D來進(jìn)行參考繪圖:
最方便的也是和可靈一樣生成好圖片覺得可以,直接點生成視頻。
目前還是老模型,效果還是比較一般,但是功能也算是很齊全,如果搭配上剛發(fā)布的豆包視頻生成模型那就原地起飛了。
文生視頻,圖生視頻,對口型這三大功能
圖生視頻的功能也是相當(dāng)齊全,首尾幀生成,動效畫板,還有運鏡控制,模型有標(biāo)準(zhǔn)和流暢兩個模型,最長可以生成12秒視頻。
視頻運動速度也是有慢速,適中和快速可以選擇,視頻比例也是根據(jù)上傳圖片比例來生成。
雖然說現(xiàn)在的模型生成的視頻效果比不上可靈,但是也還是比較不錯的,生成速度很快,生成一個視頻也就是3到6個積分,每天可以免費生成的視頻要比可靈的多。
希望能盡快搭配上最新的視頻模型,那么即夢將超越可靈成為目前最強視頻生成平臺。
生成好視頻覺得不錯還可以直接上配樂,這個是其他視頻生成平臺所沒有的功能。
生成一個會出來三個配樂可供選擇,再也不用到處找BGM了,而且還沒有音樂版權(quán)問題了。
上傳一段人物視頻,可以使用文本朗讀也可以上傳自己的音頻來給視頻人物進(jìn)行對口型。
這個功能用來創(chuàng)作短劇就非常有用了,而且對口型的效果也是非常不錯。
不過可能還是上傳自己的語音對口型的效果會好一點,文本朗讀可能會差點意思。
而且對口型一次也就是一兩個積分這樣,速度還挺快。