在最近舉行的視頻云技術(shù)大會(huì)上，火山引擎宣布了一項(xiàng)令人矚目的創(chuàng)新——專為解決視頻大模型訓(xùn)練過程中遇到的成本、質(zhì)量和性能問題而設(shè)計(jì)的視頻預(yù)處理方案。這項(xiàng)技術(shù)不僅能夠有效地減少資源消耗，同時(shí)還能保證高質(zhì)量的數(shù)據(jù)準(zhǔn)備，從而優(yōu)化整個(gè)訓(xùn)練過程。目前，該方案已經(jīng)在豆包視頻生成模型中得到了應(yīng)用。
預(yù)處理的重要性及挑戰(zhàn)
對(duì)于任何希望利用大規(guī)模視頻數(shù)據(jù)來訓(xùn)練AI模型的企業(yè)來說，對(duì)這些原始素材進(jìn)行恰當(dāng)?shù)念A(yù)處理是至關(guān)重要的一步。正如抖音集團(tuán)視頻架構(gòu)負(fù)責(zé)人王悅所指出的那樣，在這個(gè)階段面臨著幾大難題：
成本控制：隨著訓(xùn)練所需的數(shù)據(jù)量不斷增加，相關(guān)的計(jì)算與存儲(chǔ)開銷也隨之上升。
數(shù)據(jù)質(zhì)量不一：不同來源的視頻內(nèi)容質(zhì)量參差不齊，這直接影響到最終模型的效果。
流程復(fù)雜性：從收集到清洗再到格式化，每一步都充滿了細(xì)節(jié)上的考量，需要精細(xì)的操作才能完成。
異構(gòu)算力管理：如何高效地利用包括GPU、CPU以及ARM在內(nèi)的多種計(jì)算平臺(tái)也是一大考驗(yàn)。
面對(duì)上述種種障礙，火山引擎通過自主研發(fā)的多媒體處理框架BMF給出了答案。
BMF框架助力突破瓶頸
火山引擎此次推出的解決方案基于其自研的多媒體處理框架BMF（ByteDance Multimedia Framework），旨在克服現(xiàn)有預(yù)處理工作中的種種局限。BMF具有以下幾點(diǎn)優(yōu)勢(shì)：
降低成本：通過優(yōu)化算法和工程實(shí)踐，大幅減少了所需的計(jì)算資源，使得即使是在處理超大規(guī)模數(shù)據(jù)集時(shí)也能保持經(jīng)濟(jì)性。
提升效率：能夠在短時(shí)間內(nèi)快速完成大量視頻文件的處理任務(wù)，并且保證了處理鏈條的高度協(xié)調(diào)性，加快了整體進(jìn)度。
開源共享：為了進(jìn)一步促進(jìn)業(yè)界交流與發(fā)展，火山引擎還推出了輕量級(jí)版本BMF lite并將其開源。這一舉措讓更多的開發(fā)者能夠輕松接入端側(cè)的大規(guī)模模型，并享受到加速運(yùn)算帶來的便利。
字節(jié)跳動(dòng)自研芯片取得突破
除了軟件層面的努力外，字節(jié)跳動(dòng)還在硬件領(lǐng)域取得了重要進(jìn)展。王悅透露，公司正在開發(fā)一款專門針對(duì)視頻編解碼任務(wù)設(shè)計(jì)的ASIC芯片。經(jīng)過內(nèi)部測(cè)試表明，這款新芯片可以在相同壓縮比率下將運(yùn)行成本降低95%以上。此外，在2024年MSU世界編碼器大賽上，它更是榮獲“最佳ASIC編碼器”稱號(hào)，充分展示了其實(shí)力。
火山引擎發(fā)布的這套全新視頻預(yù)處理方案無疑為當(dāng)前火熱的人工智能領(lǐng)域注入了新的活力。通過結(jié)合先進(jìn)的軟件技術(shù)和高效的硬件支持，它不僅解決了長(zhǎng)期以來困擾著許多研究者的問題，也為未來更廣泛的應(yīng)用場(chǎng)景打開了大門。我們有理由相信，在不久的將來，隨著更多類似創(chuàng)新成果的不斷涌現(xiàn)，人工智能技術(shù)將迎來更加輝煌的發(fā)展時(shí)期。
聯(lián)系客服
