物聯(lián)網(wǎng)繼續(xù)邁向低碳化，MIT團(tuán)隊(duì)開發(fā)出一次訓(xùn)練、多平臺(tái)部署的AI系統(tǒng)
萬物互聯(lián)時(shí)代，AI 計(jì)算不能僅依賴于云端服務(wù)器。例如自動(dòng)駕駛車輛或無人機(jī)執(zhí)行的物體識(shí)別任務(wù)，有著較高的實(shí)時(shí)性需求，因此需要在這些形態(tài)各異的終端設(shè)備本地中部署深度神經(jīng)網(wǎng)絡(luò)（DNN）。但這又會(huì)凸顯能耗問題，因?yàn)榻K端設(shè)備的可用資源往往是受限的。除了 AI 硬件設(shè)計(jì)者們?cè)谂﹂_發(fā)低功耗的專用芯片以外，還有一組研究人員正想方設(shè)法讓 DNN 本身更加“低碳化”：將 DNN 模型高效地部署到各種硬件平臺(tái)上，涉及根據(jù)具體硬件算力進(jìn)行重新設(shè)計(jì)（或裁剪）以及重頭訓(xùn)練，由此帶來的成本會(huì)隨著硬件平臺(tái)的數(shù)量而線性增長(zhǎng)，造成大量的能源消耗與碳排放。一次訓(xùn)練就能適應(yīng)多平臺(tái)部署的 Once for All（OFA）方案，成為一種解決思路。最近，來自麻省理工學(xué)院的韓松團(tuán)隊(duì)就發(fā)表了這個(gè)方向的一項(xiàng)新成果：團(tuán)隊(duì)開發(fā)了一個(gè)適用于多種不同硬件平臺(tái)的 AutoML 系統(tǒng)，這種系統(tǒng)碳足跡更小，硬件上的計(jì)算效率更高。這將是一項(xiàng)頗具應(yīng)用前景的研究。該方法訓(xùn)練了一個(gè)大型的母網(wǎng)絡(luò)，其中包含許多不同大小的子網(wǎng)絡(luò)，就能實(shí)現(xiàn)子網(wǎng)無需再訓(xùn)練即可適應(yīng)不同的硬件平臺(tái)，從而大幅降低了為新平臺(tái) (可能包括數(shù)十億個(gè)物聯(lián)網(wǎng)設(shè)備) 訓(xùn)練每個(gè)專門的神經(jīng)網(wǎng)絡(luò)所需的成本。團(tuán)隊(duì)估計(jì)，與當(dāng)今最先進(jìn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法（NAS）相比，利用該系統(tǒng)訓(xùn)練一個(gè)計(jì)算機(jī)視覺模型只需要大約原來 1/ 1300 的碳排放（圖 1），同時(shí)在不損失準(zhǔn)確率的前提下，將推理時(shí)間縮短了 1.5-2.6 倍（圖 2）。圖 1：OFA 和傳統(tǒng) NAS 方法的訓(xùn)練代價(jià)比較（以碳排放量計(jì)）
圖 2：OFA 和 EfficientNet, MobileNet-v3 的推理性能比較“我們的目標(biāo)是更小、更環(huán)保的神經(jīng)網(wǎng)絡(luò)。目前搜索高效的神經(jīng)網(wǎng)絡(luò)架構(gòu)會(huì)產(chǎn)生巨大的碳排放，新方法減少了幾個(gè)數(shù)量級(jí)的碳排放”，韓松說。團(tuán)隊(duì)基于 AutoML 建立了這個(gè)系統(tǒng)，從而可以自動(dòng)搜索巨大的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)空間，以尋找適合于給定硬件平臺(tái)的網(wǎng)絡(luò)結(jié)構(gòu)。但是這仍然存在效率問題：不同硬件平臺(tái)必須單獨(dú)選擇模型，然后從頭開始對(duì)選擇的模型進(jìn)行訓(xùn)練。韓松介紹道：“我們?nèi)绾尾拍転閺?1 美元的物聯(lián)網(wǎng)設(shè)備，到上百美元的智能手機(jī)，到上千美元的 GPU 和云 AI 都有效地適配不同的網(wǎng)絡(luò)？考慮到物聯(lián)網(wǎng)設(shè)備的多樣性，神經(jīng)架構(gòu)搜索的計(jì)算成本將會(huì)激增?！?/span>而團(tuán)隊(duì)開發(fā)的 AutoML 系統(tǒng)之所以能避開這些成本，關(guān)鍵在于只訓(xùn)練作為 OFA 的 “母” 網(wǎng)絡(luò)。這個(gè) “母” 網(wǎng)絡(luò)嵌套了非常多的子網(wǎng)，與所有的子網(wǎng)絡(luò)共享所有的學(xué)習(xí)權(quán)值，這意味著子網(wǎng)絡(luò)基本上是經(jīng)過預(yù)先訓(xùn)練的。因此，每個(gè)子網(wǎng)可以在推理時(shí)獨(dú)立運(yùn)行而無需再訓(xùn)練。針對(duì)特定的平臺(tái)，系統(tǒng)會(huì)使用 OFA 作為搜索空間，根據(jù)與平臺(tái)的能力和速度限制相吻合的準(zhǔn)確性和延遲權(quán)衡，找到最佳的子網(wǎng)。例如，對(duì)于物聯(lián)網(wǎng)設(shè)備，系統(tǒng)會(huì)找到一個(gè)較小的子網(wǎng)。對(duì)于智能手機(jī)，它將選擇較大的子網(wǎng)，但根據(jù)電池壽命和計(jì)算資源的不同，子網(wǎng)的結(jié)構(gòu)也將不同。OFA 將模型訓(xùn)練和架構(gòu)搜索解耦，并將一次性訓(xùn)練成本分?jǐn)偟蕉鄠€(gè)推理硬件平臺(tái)和資源約束上，在需要多平臺(tái)部署的場(chǎng)景下顯現(xiàn)優(yōu)勢(shì)。這依賴于 “漸進(jìn)收縮” 算法，它能有效地訓(xùn)練 OFA 網(wǎng)絡(luò)以同時(shí)支持所有的子網(wǎng)。“漸進(jìn)收縮”算法首先用最大尺寸訓(xùn)練整個(gè)網(wǎng)絡(luò)，然后逐步縮小網(wǎng)絡(luò)的大小去覆蓋更小的子網(wǎng)。小的子網(wǎng)絡(luò)在大的子網(wǎng)絡(luò)的幫助下一起提升。最后，系統(tǒng)支持不同大小的所有子網(wǎng)絡(luò)，并允許基于平臺(tái)的能力和速度限制進(jìn)行快速定制化。它支持多種硬件設(shè)備，在添加新設(shè)備時(shí)，訓(xùn)練成本為零。“一個(gè)通用的 OFA 網(wǎng)絡(luò)，支持在大量不同的結(jié)構(gòu)設(shè)置下通過截取 OFA 網(wǎng)絡(luò)的不同部分來進(jìn)行高效推理”，HAN Lab 博士生蔡涵說。根據(jù)論文，一個(gè) OFA 網(wǎng)絡(luò)可包含超過 10 的 19 次方個(gè)結(jié)構(gòu)設(shè)置，幾乎覆蓋了所有需要的平臺(tái)。結(jié)果顯示，這種方法在移動(dòng)設(shè)備上提供了目前最優(yōu)的 ImageNet 精度（圖 3）。蔡涵表示：“從計(jì)算資源的角度，NAS 方法的總計(jì)算資源是隨著部署場(chǎng)景數(shù)量的增加而線性增長(zhǎng)的。當(dāng)有多個(gè)部署場(chǎng)景的時(shí)候，OFA 會(huì)比 NAS 方法高效得多。具體上，在 40 個(gè)部署場(chǎng)景的情況下，OFA 的總計(jì)算資源消耗是 ProxylessNAS 的 1/16，MnasNet 的 1/1300”。圖 3：OFA 網(wǎng)絡(luò)只需 595M MACs 即可實(shí)現(xiàn) 80.0% ImageNet top-1 準(zhǔn)確率。從準(zhǔn)確率的角度，OFA 中的子網(wǎng)在經(jīng)過微調(diào)后可以達(dá)到比單獨(dú)從頭訓(xùn)練更好的準(zhǔn)確率。在 ImageNet 上，OFA 在大量的硬件平臺(tái)和效率約束下都達(dá)到了明顯好于 EfficientNet 和 MobileNetV3 的性能（圖 2）。在 ImageNet 的 Mobile Vision 條件下（< 600M MACs），OFA 達(dá)到了最新的 80.0% SOTA 準(zhǔn)確率。OFA 網(wǎng)絡(luò)在第三屆和第四屆低功耗計(jì)算機(jī)視覺比賽（Low-Power Computer Vision Challenge）中都取得了第一。現(xiàn)在，該研究論文已被 ICLR 2020 大會(huì)收錄，并在 github 上開源了訓(xùn)練代碼以及 50 個(gè)用于各種硬件平臺(tái)的 ImageNet 預(yù)訓(xùn)練模型，包括了在 600M MACs 約束下達(dá)到 80.0%ImageNet 準(zhǔn)確率的模型、預(yù)訓(xùn)練的 OFA 網(wǎng)絡(luò)。接下來，團(tuán)隊(duì)將繼續(xù)拓展 OFA 在不同應(yīng)用下的效率提升，讓 AI 輕量化，既能運(yùn)行在云端平臺(tái)也能運(yùn)行在邊緣設(shè)備上。https://arxiv.org/pdf/1908.09791.pdf
http://news.mit.edu/2020/artificial-intelligence-ai-carbon-footprint-0423https://github.com/mit-han-lab/once-for-all)
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
