AI當自強：獨家揭秘曠視自研人工智能算法平臺Brain
隨著深度學習逐漸從實驗室走向工業(yè)應用，各大企業(yè)都在探索構建算法架構、實現(xiàn)模型的工具和平臺。和使用 TensorFlow 或 PyTorch 等開源框架的公司不同，曠視走向了一條自主研制的道路，建立了從算法研發(fā)到部署應用的全流程、一站式人工智能算法平臺 Brain++。在 Brain++投入使用 5 年之際，機器之心在此為讀者揭開 Brain++的神秘面紗。
如果說算法模型是果實，那么開發(fā)它的環(huán)境和框架就是培育果樹的土壤。盡管平時在開發(fā)中，框架和底層環(huán)境沒有那么引人矚目，但沒有這些底層技術的支持，優(yōu)秀的思路和創(chuàng)意也就無從實現(xiàn)。當前，深度學習社區(qū)基本上被 TensorFlow 和 PyTorch 兩大框架壟斷。開源框架固然具有很高的人氣和易用性，但是在國際環(huán)境變幻莫測的大背景下，是否依賴這些框架就足夠保險呢？同時，如果企業(yè)有新的想法和業(yè)務需求，開源框架能否完美實現(xiàn)？是否能夠無縫嵌入業(yè)務之中？這些都是 AI 企業(yè)需要思考的問題。近日，曠視自主研發(fā)的人工智能算法平臺 Brain++榮獲第六屆世界互聯(lián)網(wǎng)大會「世界互聯(lián)網(wǎng)領先科技成果」。曠視聯(lián)合創(chuàng)始人兼 CTO 唐文斌在大會上表示，「2014 年我們開始研發(fā) Brain++，它是一套端到端的 AI 算法平臺，目標是讓研發(fā)人員獲得從數(shù)據(jù)到算法產(chǎn)業(yè)化的一攬子技術能力，不用重復造輪子也可以推進 AI 快速落地。我們的 Brain++還引入了 AutoML 技術，可以讓算法來訓練算法，讓 AI 來創(chuàng)造 AI?！?/section>通過曠視從 2014 年開始自研深度學習框架，到現(xiàn)如今構建了一整套圍繞 AI 開發(fā)的整體系統(tǒng)，似乎以上這些問題可以得到一個解答。很多人會誤以為這僅僅只是曠視的一個深度學習框架，或者是企業(yè)內(nèi)部開發(fā)的云計算平臺。而事實上，Brain++在曠視內(nèi)部已成為了支撐算法研究和開發(fā)的整體基礎底層平臺。Brain++涵蓋了深度學習算法開發(fā)的整個流程。
具體而言，Brain++涵蓋了深度學習算法開發(fā)的所有環(huán)節(jié)。從數(shù)據(jù)的獲取、清洗、預處理、標注和存儲開始，到研究人員設計算法架構、設計實驗環(huán)節(jié)、搭建訓練環(huán)境、訓練、加速、調(diào)參、模型效果評估和產(chǎn)生模型，到最終的模型分發(fā)和部署應用，Brain++為曠視的研發(fā)人員提供了一站式全流程的 AI 工程解決方案。總體架構上，Brain++可以大體分為三部分，包括作為主體的深度學習算法開發(fā)框架 MegEngine、提供算力支持的 MegCompute、以及用于提供數(shù)據(jù)服務和支持的 MegData。據(jù)曠視方面透露，Brain++ 其實是國內(nèi)很早就開始研發(fā)構建的深度學習系統(tǒng)之一。早在 2014 年，Brain++ 就已經(jīng)開發(fā)出來，在當時作為算法框架在公司內(nèi)部開始使用。其中，曠視在 2017 年拿下 3 項 COCO 冠軍，2018年拿下 4 項 COCO 冠軍，以及今年發(fā)布的全新的通用物體檢測數(shù)據(jù)集 Objects365，都與 Brain++ 的功勞密不可分。人工智能平臺 Brain++這一系統(tǒng)內(nèi)部是什么樣的？機器之心接下來會按照組成模塊進行解讀。曠視原創(chuàng)自研的新一代人工智能算法平臺 Brain++由三大支柱構成，分別是深度學習框架 MegEngine、深度學習云計算平臺 MegCompute 和數(shù)據(jù)管理平臺 MegData。MegEngine 是 Brain++的核心組件，是為開發(fā)者和研究人員提供開發(fā)的深度學習框架。這一框架主要用于曠視內(nèi)部進行計算機視覺領域的算法開發(fā)工作，包括大規(guī)模的人臉識別、圖像分割、姿態(tài)識別等。MegEngine 的整體架構。從架構來說，MegEngine 分為四個層，包括計算引擎、運行時管理、編譯和優(yōu)化以及編程和表示。計算引擎以 MegDNN 為核心，發(fā)揮計算作用。MegDNN 是一個基于異構架構，有著統(tǒng)一的交互方法的內(nèi)核，可以根據(jù)設備本身啟發(fā)式地選擇最優(yōu)內(nèi)核，也可以讓用戶自己選擇最適合的內(nèi)核進行計算。在運行時管理層中包括兩個模塊，分別是內(nèi)核調(diào)度和內(nèi)存管理和優(yōu)化兩大模塊。在內(nèi)存管理和優(yōu)化模塊中，MegEngine 采用了動態(tài)、靜態(tài)內(nèi)存分配并存的方式。在編譯層和優(yōu)化層，MegEngine 使用了基于計算圖的編譯和優(yōu)化方法。編程和表示層進行用戶交互，能夠使用高級編程語言（如 Python）執(zhí)行用戶的命令。曠視的深度學習框架 MegEngine 有著多種多樣的優(yōu)勢，相比于開源的大部分深度學習框架，MegEngine 具有：運算速度快：MegEngine 動態(tài)、靜態(tài)結合的內(nèi)存優(yōu)化機制，因此速度比 TensorFlow 更快；
內(nèi)存占用少：通過分析整個執(zhí)行方案的內(nèi)存使用情況，MegEngine 充分優(yōu)化內(nèi)存，特別是亞線性內(nèi)存優(yōu)化，可以支持復雜的網(wǎng)絡結構，自動利用部分冗余計算縮減內(nèi)存占用，可達兩個數(shù)量級，從而支持更大規(guī)模的模型訓練；
易用性好：MegEngine 封裝了平臺細節(jié)，易于新人用戶快速上手；
支持多種硬件平臺和異構計算：MegEngine 支持通用 CPU、GPU、FPGA 以及其他移動設備端硬件，可多卡多機進行訓練；
訓練部署一體化：整個框架既可用于訓練又同時支持推理，實現(xiàn)模型一次訓練，多設備部署，避免復雜的轉換過程造成的性能下降和精度損失。
MegEngine 之所以能夠成為的核心算法框架，主要依靠其底層幾大技術。首先，MegEngine 基于 C++開發(fā)，可幫助用戶借助編程語言進行高性能的運算執(zhí)行。在框架內(nèi)部，使用了目前流行的計算圖方式。和其他框架不同，MegEngine 使用的是異構架構，方便使用框架進行分布式計算。此外，MegEngine 內(nèi)部的計算以算子的形式進行，它支持多種算子節(jié)點和變量算子，包括常用的卷積、全連接、ReLU 和用戶可定制的算子，甚至可以計算二階梯度，從而進行更多底層和靈活的運算?？梢哉f，MegEngine 在盡全力提升深度學習計算性能的基礎上，為用戶提供了靈活易用的模型構建工具，極大地提升了開發(fā)效率。根據(jù)曠視提供的資料，MegEngine 和當前開源的主流深度學習框架——TensorFlow、PyTorch 進行了對比。MegEngine和 TensorFlow、PyTorch 框架的性能對比。
從圖上可以看出，在主流的計算機視覺模型（Resnet50 和 ShuffleNet V1）上，MegEngine 在訓練上可以和主流框架媲美。值得一提的是，MegEngine 為了提升大規(guī)模圖像數(shù)據(jù)進行處理和模型訓練的效率，在分布式計算方面下足了功夫。分布式計算中的數(shù)據(jù)并行和模型并行方式都被用在了 MegEngine 中，極大提升了模型訓練效率。在模型并行方面，MegEngine 提供原語級別的支持，方便用戶進行模型并行設置和執(zhí)行。最終，模型并行可以和數(shù)據(jù)并行模式混合使用。有了深度學習框架天生對分布式計算的支持，MegEngine 在訓練和推理效率上達到了很高的水平。 MegEngine 還集成了曠視最新的 AutoML 技術，對深度學習算法的各個關鍵環(huán)節(jié)進行自動化的設計、搜索和優(yōu)化。這項技術以 One-Shot 方法為核心，通過一次訓練完成自動化過程，將計算代價減小至傳統(tǒng) AutoML 方法的萬分之一，在可控的時間內(nèi)搜索出高性能、易部署的模型結構。 曠視 AutoML 技術圖示。相比于市場上的 AutoML 技術，曠視的 AutoML 技術有以下優(yōu)勢：計算代價小。傳統(tǒng)的 AutoML 技術常常需要多次訓練模型甚至會遍歷部分模型空間，計算代價巨大。曠視的 AutoML 技術只需訓練一次即可得到整個模型空間的刻畫，大大減小了計算代價，只是平常訓練代價的 1-3 倍。
應用范圍廣。曠視 AutoML 技術提供了一套完整的解決方案，覆蓋了大部分業(yè)務，包括活體檢測、人臉識別、物體檢測、語義分割等。
部署方便。曠視 AutoML 技術涵蓋了數(shù)據(jù)處理、模型訓練、模型壓縮、模型量化等流程，自動處理從數(shù)據(jù)到落地。
精度高。曠視 AutoML 技術在諸多視覺任務上，超過人類手工設計，達到了業(yè)界最優(yōu)。
除了支持深度學習框架中所有的基本功能，MegEngine 還有很多高級功能，如支持神經(jīng)架構搜索、網(wǎng)絡剪枝和構建低比特的小型神經(jīng)網(wǎng)絡（基于曠視提出的 DoReFaNet）等。有了性能極佳的深度學習框架和全面的數(shù)據(jù)平臺支持，Brain++也需要強大的算力支撐才能發(fā)揮完全的能力。深度學習框架的基礎之上，曠視開發(fā)出了支撐整個平臺計算的系統(tǒng)，稱為 MegCompute。這是一個包括了硬件基礎設施、數(shù)據(jù)存儲和計算調(diào)度的平臺。用于協(xié)助研究人員部署訓練環(huán)境、設計訓練流程、提供算力和資源分配服務、監(jiān)控實驗進程、提供可視化效果展示、管理用戶權限、存儲數(shù)據(jù)等。MegCompute 的總體架構可以概括為「三駕馬車」，分別為基礎設施、數(shù)據(jù)存儲和計算。基礎設施方面，通過高性能硬件支持深度學習計算和大規(guī)模數(shù)據(jù)傳輸。在數(shù)據(jù)存儲方面，考慮到計算機視覺數(shù)據(jù)普遍為海量小文件，數(shù)據(jù)存儲平臺采用了分布式對象存儲系統(tǒng)，具有大容量可彈性擴展的存儲能力。此外，在云計算方面，使用精細的算力管理方式，給用戶靈活分配計算資源，同時避免算力浪費。MegCompute會為每個用戶會分配若干臺虛擬機做開發(fā)，這稱之為 Workspace, 其中自帶了 JupyterLab 方便研究員使用；曠視還通過開發(fā)可分享的插件，方便研究員將 JupyterLab 中的內(nèi)容分享給指定的同事。為杜絕浪費，Workspace 中不帶 GPU，那訓練程序需要 GPU 怎么辦呢？MegCompute 提供了一種新穎的動態(tài)分配使用 GPU 的方式，當需要使用 GPU 運行程序時，可使用 rlaunch 命令將程序直接分配到若干臺 GPU 運行，并可以在終端的標準輸出獲取到遠程命令執(zhí)行的結果。這種方式跟任務提交相比，可以做到無縫執(zhí)行，不需要將程序打包成鏡像進行分發(fā)，因為 rlaunch 可以做到跟本地擁有 GPU 類似的使用體驗，而廣受研究員歡迎。此外，計算平臺提供任務的優(yōu)先級機制，讓集群資源能夠高效的利用。同時，通過 GPU 拓撲和網(wǎng)絡拓撲感知功能，讓大規(guī)模多機訓練的網(wǎng)絡更加快速和穩(wěn)定，達到更高效的訓練效率。總體而言，MegCompute 從功能上，真正將曠視自研的深度學習框架擴展到了企業(yè)級別的系統(tǒng)服務平臺，通過連接硬件、數(shù)據(jù)和深度學習框架，將構建深度學習模型的所有環(huán)節(jié)串聯(lián)了起來。MegCompute 有以下幾大特點：性能強大：MegCompute 有豐富的 GPU 計算資源，同時也支持各類硬件，可靈活高效地分配計算任務。
全流程覆蓋：MegCompute 支持模型構建的全部流程環(huán)節(jié)，讓研究人員能夠實現(xiàn)一站式的業(yè)務應用服務，滿足工業(yè)級的 AI 能力研發(fā)測試、部署上線和業(yè)務生產(chǎn)方面的工作。
彈性部署：MegCompute 采用了 Docker 容器技術，可以讓用戶彈性化地構建部署訓練環(huán)境，在不需要使用的時候直接銷毀，使得資源可以及時釋放給其他用戶，具有非常彈性的特點。
用戶友好：用戶使用過程中，通過可視化界面進行環(huán)境搭建和訓練設計方面的工作，也可以通過可視化的方式查看模型測試的結果，不需要關注太多的底層技術細節(jié)，使用非常方便。
支持多種深度學習框架：除了和 MegEngine 自研深度學習框架緊密結合外，MegCompute 也支持使用 TensorFlow 和 PyTorch。
在構建模型的時候，也需要大量的數(shù)據(jù)支持。Brain++中的 MegData 是負責提供數(shù)據(jù)方面的服務，主要有四個方面：1）數(shù)據(jù)管理；2）數(shù)據(jù)標注；3）數(shù)據(jù)處理；4）數(shù)據(jù)安全。曠視在研發(fā)過程中需要使用大量的圖像數(shù)據(jù)，因此需要一個綜合平臺提供管理、標注、處理和存儲安全相關的服務。根據(jù)曠視介紹，MegData 可以提供完整的數(shù)據(jù)服務，為用戶提供了全流程的解決方案。在標注方面，MegData 提供了數(shù)據(jù)標注相關的服務，將人工標注和輔助算法相結合，提升標注效率。經(jīng)過多次的業(yè)務打磨，MegData 平臺現(xiàn)已擁有全生命周期的項目管理平臺，進一步實現(xiàn) AI 助力，解放人工。另外，MegData 還將曠視原創(chuàng)算法引入標注平臺中，利用數(shù)據(jù)輔助算法實現(xiàn)標注效率的大幅提升。這些標注算法都是基于云的，可以伸縮和擴展。在自動標注上，曠視采用了很多算法。比如，使用聚類算法，曠視可以使某項標注任務的成本下降為原有的 10%。一些標注任務通過算法輔助驗收，效率提升 150% 以上。相比于其他同類平臺，MegData 在數(shù)據(jù)層面為 AI 模型研究提供了安全、高效的數(shù)據(jù)存儲和處理方式。同時，由于它是基于云的，具有很高的靈活性。最后，MegData 補全了 AI 算法研發(fā)中數(shù)據(jù)處理的缺失環(huán)節(jié)，使研發(fā)人員不需要花太多精力在數(shù)據(jù)層面，很大程度上提升了效率，節(jié)省了時間和研發(fā)成本。總體而言，雖然不似其他兩個 Brain++模塊那樣引人關注，MegData 在系統(tǒng)中發(fā)揮著重要的功能，負責完成了深度學習訓練前很大一部分的數(shù)據(jù)管理、處理、標注和安全的工作。這些都是整個流程環(huán)節(jié)必不可少的。Brain++系統(tǒng)凸顯了曠視在技術開發(fā)上的三個趨勢。首先，Brain++完全是自主研發(fā)的深度學習系統(tǒng)，涵蓋了 AI 業(yè)務的整體流程。這說明曠視能夠完全掌握核心的研發(fā)工具和平臺。曠視 Brain++是為計算機視覺場景而專門研發(fā)的，這是一個以業(yè)務為導向的專業(yè) AI 服務系統(tǒng)，因此曠視可以拿出很多精力，針對業(yè)務中的需求提出專門的解決方案，而新方法可以快速在實際應用中得到測試和驗證，通過業(yè)務驅動框架的發(fā)展。最后，由于曠視對 Brain++本身具有完整的掌握能力，并且通過計算機視覺相關場景驅動 Brain++的發(fā)展，它的迭代速度非?？?。當前，新算法層出不窮，企業(yè)急需要能夠快速實現(xiàn)算法的人工智能平臺，能夠迅速將新方法投入實際的生產(chǎn)中。Brain++能夠快速根據(jù)新的變化進行調(diào)整，能夠為曠視在新技術的研發(fā)和應用上搶占先機，使企業(yè)牢牢占領技術高地，保持技術能力常新常青。
本站僅提供存儲服務，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權內(nèi)容，請
點擊舉報。
