AMD對英偉達的攻勢終于全面展開了。如果說新發(fā)布的MI300系列就像一把利刃插在英偉達的AI帝國版圖上，那么接下來的這一步，才是AMD想要合縱連橫、攻城掠地的開始。 近日舉辦的“AMD Advancing AI”發(fā)布會上，AMD 發(fā)布了最新一代AI產(chǎn)品MI 300X與MI 300A，分別鎖定生成式AI和HPC/AI數(shù)據(jù)中心。除了尖端的算力，更大規(guī)模AI所必不可少的跨服務(wù)器加速卡互聯(lián)方面，AMD CEO Lisa Su指出，“Ethernet is the answer”，表示將擁抱以太網(wǎng)，并聯(lián)合Open Ethernet生態(tài)系統(tǒng)共同支持生成式AI。 而就在今年6月的Computex上，英偉達創(chuàng)始人兼CEO黃仁勛發(fā)布了全球首個AI構(gòu)建的Spectrum-X以太網(wǎng)架構(gòu)，通過Spectrum-4以太網(wǎng)交換機和BlueField-3 DPU的緊密耦合，提升了以太網(wǎng)的AI性能和能效。 不約而同的布局顯示，隨著生成式AI帶來的計算規(guī)模的擴大和分布式計算趨勢，AMD挑戰(zhàn)英偉達市場地位的方式，除了GPU這個主戰(zhàn)場，在以太網(wǎng)領(lǐng)域的競爭也將全面開啟。
網(wǎng)絡(luò)成為生成式AI算力瓶頸，改造勢在必行
生成式AI給數(shù)據(jù)中心帶來了新挑戰(zhàn)，包括整體計算架構(gòu)、網(wǎng)絡(luò)通信平臺以及相應(yīng)的系統(tǒng)軟件等，都需要進行全新設(shè)計。 這是因為，面對生成式AI激增的數(shù)據(jù)量，數(shù)據(jù)中心越來越需要整體運作。以往單一的、簡單的應(yīng)用，可能只需調(diào)用幾臺服務(wù)器即可，但是隨著AI負(fù)載規(guī)模越來越大，甚至需要調(diào)動整個數(shù)據(jù)中心資源協(xié)同完成一項工作。也就是說，整個數(shù)據(jù)中心越來越成為一臺“大計算機”，這就需要從底層對數(shù)據(jù)中心整體架構(gòu)進行重塑，保證數(shù)據(jù)中心整體的效率和性能。而除了算力之外，通信網(wǎng)絡(luò)也是數(shù)據(jù)中心的核心能力。 作為當(dāng)今互聯(lián)網(wǎng)誕生的根基，以太網(wǎng)非常有彈性，它可以支持TCP等傳輸層協(xié)議，可以基于傳統(tǒng)的網(wǎng)絡(luò)丟包機制來緩解網(wǎng)絡(luò)擁塞。這種方式對業(yè)務(wù)的性能抖動不敏感，出現(xiàn)數(shù)據(jù)包丟失時，它會根據(jù)應(yīng)用需求重新傳輸或直接放棄、幾乎可以從任何地方重連。不過，對于高吞吐量的AI負(fù)載來說，根本負(fù)擔(dān)不起丟包的代價，也無法接受抖動問題，因為這些都會對AI負(fù)載和性能產(chǎn)生巨大影響。 特別是對于生成式AI來說，大模型參數(shù)規(guī)模及數(shù)據(jù)集不斷擴大，當(dāng)一個大模型跑在成千上萬個算力集群上時，采用的是分布式、緊耦合的計算方式，這時，整個系統(tǒng)的性能已經(jīng)不僅取決于單一GPU、單一服務(wù)器，更取決于網(wǎng)絡(luò)性能，對數(shù)據(jù)傳輸有著更高要求，這就需要對傳統(tǒng)以太網(wǎng)進行“改造”，構(gòu)建支持RoCE（RDMA over Converged Ethernet）的無損網(wǎng)絡(luò)，做到不丟包，支持以太網(wǎng)RDMA，滿足高帶寬和高利用率需求。大規(guī)模AI網(wǎng)絡(luò)方案，天下苦英偉達久矣？
要談?wù)撋墒紸I對數(shù)據(jù)中心網(wǎng)絡(luò)的深刻改變，還要多說幾句數(shù)據(jù)中心計算范式的根本顛覆。在傳統(tǒng)的計算系統(tǒng)中，CPU和內(nèi)存是核心，GPU、NIC、NVMe等都是外設(shè)，PCIe是機內(nèi)通信最重要的組件之一。而隨著深度學(xué)習(xí)的到來，這一范式改變了，GPU成了計算的核心。如此一來，如果仍然依賴傳統(tǒng)的通信組件，勢必會遇到瓶頸。這也是為什么，英偉達專門推出NVLink、NVSwitch等GPU之間的連接方案，就是希望獲得更高的互聯(lián)帶寬。 而對于跨設(shè)備之間的通信，RDMA(remote direct memory access)遠端直接內(nèi)存訪問技術(shù)又是一個有意思的開始。它本質(zhì)上是針對大規(guī)模分布式計算存儲的場景，讓網(wǎng)卡繞開CPU，配合遠端服務(wù)器直接存取內(nèi)存，能夠加速服務(wù)器之間的交互，降低時延。 RDMA作為一種高性能網(wǎng)絡(luò)通信技術(shù)，具有高帶寬、低延遲、無CPU消耗、零拷貝等優(yōu)點，InfiniBand就是RDMA技術(shù)的實現(xiàn)方式之一，不過，它需要專門的網(wǎng)卡和交換機來支持，帶來了額外的硬件成本。目前，市場上主要有英偉達、英特爾、思科和HP等InfiniBand網(wǎng)絡(luò)解決方案和配套設(shè)備提供商，據(jù)稱，英偉達占有最高的市場份額，超過70%。 當(dāng)前，大部分大語言模型都是基于英偉達NVLink+InfiniBand無損網(wǎng)絡(luò)架構(gòu)的超大規(guī)模數(shù)據(jù)中心來完成訓(xùn)練的。對于AMD來說，首先通過Infinity Fabric對標(biāo)英偉達的NVlink，用于服務(wù)器內(nèi)部的GPU互聯(lián)。而在跨服務(wù)器的連接方面，AMD連同其他頭部廠商看到的機會主要是：一是InfiniBand被英偉達主導(dǎo)，更廣生態(tài)上欠缺通用性；二是需要專用設(shè)備支持，帶來了組網(wǎng)的高成本，因此他們希望通過生態(tài)開放這一核心優(yōu)勢擴大影響力，以打開英偉達已經(jīng)占據(jù)先機的市場局面。 隨著深度學(xué)習(xí)模型越來越復(fù)雜，模型參數(shù)量越來越大，單個GPU服務(wù)器越來越難以滿足模型參數(shù)大小存儲要求和訓(xùn)練迭代速度要求，分布式多機多卡訓(xùn)練基本已成必備，RDMA網(wǎng)絡(luò)作為AI大模型時代的底層通信技術(shù)，將發(fā)揮更加重要的作用。 在AMD近日的發(fā)布會上，以太網(wǎng)巨頭博通、思科、Arista技術(shù)負(fù)責(zé)人均進行了分享。他們認(rèn)為在當(dāng)前的RDMA 環(huán)境下，超以太網(wǎng)協(xié)議有望支持百萬節(jié)點互聯(lián)，同時以太網(wǎng)的開放特性，能夠讓諸如LPO等新技術(shù)加速滲透，帶來高性價比、高容量、高開放程度的AI網(wǎng)絡(luò)。
“AMD Advancing AI”發(fā)布會上，Arista、Broadcom、Cisco與AMD的高層對話
