微軟北大聯(lián)合提出換臉 AI 和臉部偽造檢測(cè)器，演繹現(xiàn)實(shí)版「矛與盾」？
近日，微軟研究院與北京大學(xué)的研究小組共同提出了一種全新的 AI 換臉框架 FaceShifter，以及一種檢測(cè)偽造人臉圖像的方法 FaceX-Ray。前者可以極大提高換臉的高保真度，而后者則用于檢測(cè)出復(fù)雜偽造人臉圖像。 一個(gè)致力于造假，一個(gè)專(zhuān)注于打假；光是聽(tīng)起來(lái)，就不禁讓人聯(lián)想到「矛」與「盾」的故事。那到底哪個(gè)更勝一籌呢？VB 發(fā)布了的相關(guān)內(nèi)容介紹了這兩個(gè)成果，我們將其整理及編譯如下。 目前，最先進(jìn)的機(jī)器學(xué)習(xí)算法不僅可以完成對(duì)地點(diǎn)或物體的圖像改變與生成，以 Deepfake 為代表的 AI 換臉技術(shù)甚至已經(jīng)可以達(dá)到以假亂真的換臉效果；但由于換臉技術(shù)的濫用可能會(huì)為社會(huì)帶來(lái)一系列惡劣影響，研究人員也在不斷探索該技術(shù)的原理，并希望能夠解決這一難題。 就在最近，這一技術(shù)又有了新的進(jìn)展。微軟研究院和北京大學(xué)的研究小組發(fā)表的兩篇學(xué)術(shù)論文中，他們分別提出了一種用于生成高保真和遮擋感知的人臉交換框架——FaceShifter，以及一種用于檢測(cè)偽造人臉圖像的方法——FaceX-Ray。 與現(xiàn)有的方法相比，微軟研究的面容轉(zhuǎn)換 據(jù)相關(guān)研究人員表示，與多個(gè)現(xiàn)行基線方法相比，這兩種方法都能在不犧牲性能的情況下取得更好的效果，而且它們所需的數(shù)據(jù)比以前的方法少得多。 無(wú)訓(xùn)練換臉——FaceShifter 從相關(guān)資料可以看到，F(xiàn)aceShifter 能夠?qū)⒛繕?biāo)圖像中的人替換為源圖像中的另一個(gè)人的同時(shí)，保留其頭部姿勢(shì)、面部表情、燈光、顏色、強(qiáng)度、背景和其他屬性特征。 雖然像 Reflect 和 FaceSwap 這樣的應(yīng)用程序聲稱(chēng)可以相當(dāng)準(zhǔn)確地做到這一點(diǎn)，但是微軟論文的合著者表示 FaceShifter 對(duì)姿態(tài)和視角的變化則敏感度更高。 取源圖像中的臉來(lái)替換目標(biāo)圖像中的面，換臉結(jié)果顯示在右邊 FaceShifter 通過(guò)使用生成性對(duì)抗網(wǎng)絡(luò)（GAN）來(lái)提高換臉的保真度，它主要由兩部分架構(gòu)組成。 第一部分主要利用利用自適應(yīng)注意力非正規(guī)化（AAD）層的新生成器整合人臉合成圖片的特征和屬性，該層可以自適應(yīng)地學(xué)習(xí)整合面部屬性的位置； 第二部分則重點(diǎn)解決面部遮擋問(wèn)題，這部分則包括了一個(gè)新的啟發(fā)式錯(cuò)誤確認(rèn)細(xì)化網(wǎng)絡(luò)（HEAR-Net），可利用重建圖像與其輸入之間的差異來(lái)識(shí)別遮擋。 更多來(lái)自 FaceShifter 的樣本 研究小組稱(chēng)，「該框架在生成任意真實(shí)圖像相對(duì)的換臉圖像時(shí)，無(wú)需特定的訓(xùn)練，都顯示出了優(yōu)越的性能。大量實(shí)驗(yàn)表明，該框架明顯優(yōu)于以前的人臉交換方法。」 可以看到，在一項(xiàng)定性測(cè)試中，F(xiàn)aceShifter 保留了人臉形狀，并自動(dòng)適應(yīng)換臉圖像的光線和圖像分辨率。此外，即使是從互聯(lián)網(wǎng)上抓取的「狂野面孔」，該框架也能夠在不依賴(lài)人工注釋數(shù)據(jù)的情況下恢復(fù)異常區(qū)域——包括眼鏡、陰影和反射效果，以及其它不常見(jiàn)的遮擋。 而與 FaceShifter 相比，F(xiàn)aceX-Ray 則恰好是偽造頭像的克星。正如研究人員在相應(yīng)的論文中所指出的那樣，我們確實(shí)需要這樣的工具來(lái)防止偽造圖像被濫用的情況。 2019 年 6 月曾有份報(bào)告披露，一名間諜利用人工智能生成的個(gè)人資料圖片愚弄 LinkedIn 中的聯(lián)系人；而就在去年 12 月，F(xiàn)acebook 發(fā)現(xiàn)數(shù)百個(gè)賬戶(hù)上面都有使用人工智能合成的假面像來(lái)作為個(gè)人資料照片。 各種面部操作方法的視覺(jué)結(jié)果，包括自監(jiān)督生成的混合圖像 談回 Face X-Ray 檢測(cè)技術(shù)，它與現(xiàn)有方法不同，它不需要事先知道操作方法或人工監(jiān)督；相反的是它會(huì)生成灰度圖像，顯示給定的輸入圖像是否可以分解為來(lái)自不同來(lái)源的兩個(gè)圖像的混合。 研究人員表示這一想法是可行的，因?yàn)榇蠖鄶?shù)操作換臉的方法，都會(huì)有「將已改變的面部混合到現(xiàn)有背景圖像中」這一步驟。但每幅圖像都有自己獨(dú)特的標(biāo)記，這些標(biāo)記是從硬件（如傳感器和鏡頭）或軟件組件（如壓縮和合成算法）引入的，并且這些標(biāo)記往往在整個(gè)圖像中也以類(lèi)似的方式呈現(xiàn)。 因此，F(xiàn)ace X-Ray 不需要依賴(lài)于與特定人臉操作技術(shù)相關(guān)聯(lián)的偽影知識(shí)，并且支持它的算法可以在不使用任何方法生成假圖像的情況下進(jìn)行訓(xùn)練。 在一系列實(shí)驗(yàn)中，研究人員在 FaceForensics++（一個(gè)包含 1000 多個(gè)用四種最先進(jìn)的人臉置換方法生成的原始剪輯的大型視頻語(yǔ)料庫(kù)），以及另一個(gè)包含由真實(shí)圖像構(gòu)建的混合圖像的訓(xùn)練數(shù)據(jù)集上訓(xùn)練了 Face X-Ray。 他們?cè)u(píng)估了 FaceX-Ray 使用四個(gè)數(shù)據(jù)集進(jìn)行概括的能力，其中包括： 上述 FaceForensics++語(yǔ)料庫(kù)的一個(gè)子集； 谷歌發(fā)布的數(shù)千個(gè) deepfake 影視集合，deepfake 檢測(cè)挑戰(zhàn)賽的圖像； Celeb DF，一個(gè)包含 408 個(gè)數(shù)據(jù)集真實(shí)視頻的語(yǔ)料庫(kù)和 795 個(gè)減少了視覺(jué)偽影的合成視頻。 結(jié)果表明，F(xiàn)ace X-Ray 能有效地識(shí)別出未被發(fā)現(xiàn)的偽造圖像，并能可靠地預(yù)測(cè)融合區(qū)域。研究人員指出，該方法依賴(lài)于混合步驟的存在，因此它可能不適用于全合成圖像，并且它可以無(wú)法成功檢測(cè)出對(duì)抗性樣本的真?zhèn)巍５查_(kāi)這一點(diǎn)，這也算是朝通用化面部偽造圖像檢測(cè)工具邁出的有希望的一步。 https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/ https://arxiv.org/pdf/1912.13457.pdf https://arxiv.org/pdf/1912.13458.pdf
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶(hù)發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào) 。
