AI Grid是未來基礎(chǔ)設(shè)施，還是英偉達(dá)賣卡新敘事？

此前，在一年一度舉辦的 GTC 大會(huì)上，英偉達(dá)提出了被命名為“AI Grid”的宏大愿景，試圖將全球電信網(wǎng)絡(luò)轉(zhuǎn)型為人工智能（AI）的基礎(chǔ)設(shè)施。

所謂“AI Grid”，是一個(gè)由相互連接的 AI 基礎(chǔ)設(shè)施節(jié)點(diǎn)組成的網(wǎng)絡(luò)，覆蓋 AI 工廠、區(qū)域接入點(diǎn)、中心機(jī)房、移動(dòng)交換中心以及基站站點(diǎn)。這些節(jié)點(diǎn)配備全棧式 AI 基礎(chǔ)設(shè)施，并通過安全、高帶寬、低延遲的網(wǎng)絡(luò)連接在一起，能夠?qū)崿F(xiàn)數(shù)據(jù)、模型、智能體和工作負(fù)載的無縫流動(dòng)，從而使整個(gè)網(wǎng)格像一個(gè)統(tǒng)一的分布式系統(tǒng)那樣運(yùn)行。

當(dāng)前，正在探索“AI Grid” 領(lǐng)域的電信運(yùn)營(yíng)商包括 T-Mobile US、Comcast 和 SoftBank 等，英偉達(dá)一直強(qiáng)調(diào)，電信公司現(xiàn)有的資產(chǎn)（鐵塔、光纖和頻譜）使它們天然適合承載分布式推理基礎(chǔ)設(shè)施。然而，核心的問題在于——如果這一愿景真的代表了未來大勢(shì)，那電信運(yùn)營(yíng)商現(xiàn)在究竟應(yīng)不應(yīng)該把大量資金投入到分布式 AI 基礎(chǔ)設(shè)施中？

針對(duì)這一問題，ABI Research 近日發(fā)布了一份分析報(bào)告，幫電信公司算了一筆賬。該報(bào)告涵蓋了“AI Grid” 落地過程中的邊緣 GPU 部署、網(wǎng)絡(luò)延遲限制、總體擁有成本，其真正試圖厘清的核心矛盾在于：英偉達(dá)這一愿景在今天是否站得住腳，還是說，這是一場(chǎng)押注尚未到來的未來的昂貴賭博？

降低延遲是核心理由嗎？

在網(wǎng)絡(luò)的近邊緣或遠(yuǎn)邊緣部署 GPU，最有力的理由就是延遲——那些需要近乎“實(shí)時(shí)”執(zhí)行和控制的應(yīng)用程序?qū)ρ舆t有嚴(yán)格要求，推理服務(wù)器物理上越接近終端用戶，響應(yīng)速度就應(yīng)該越快。

然而，ABI 的分析表明，這一論點(diǎn)聽起來合理，實(shí)則站不住腳，至少對(duì)于當(dāng)今主流的 AI 工作負(fù)載而言是如此。對(duì)于生成式 AI 來說，最重要的指標(biāo)是首字延遲 (TTFT，一個(gè)用于衡量網(wǎng)頁加載性能的關(guān)鍵指標(biāo),反映了從用戶發(fā)起請(qǐng)求到瀏覽器接收到第一個(gè)字節(jié)的時(shí)間長(zhǎng)度) ，而網(wǎng)絡(luò)延遲根本不是其主要影響因素。標(biāo)準(zhǔn)的網(wǎng)絡(luò)往返時(shí)間確實(shí)可能達(dá)到 100 毫秒，但造成延遲的更大元兇——包括 DNS 解析、隧道建立，以及計(jì)算密集型的預(yù)填充和解碼階段——無論推理服務(wù)器物理上部署在哪里，都不會(huì)改變。以一個(gè)大約 1000 個(gè) token 的中等規(guī)模提示詞為例，僅預(yù)填充階段就需要約 160 毫秒，而解碼階段可能延長(zhǎng)至數(shù)秒。

這在實(shí)踐中意味著，對(duì)于常規(guī)的聊天機(jī)器人交互來說，將推理服務(wù)器移到離用戶更近的地方并不會(huì)顯著改善體驗(yàn)。token 生成過程中的計(jì)算延遲，完全壓過了在網(wǎng)絡(luò)傳輸環(huán)節(jié)節(jié)省下來的時(shí)間。Latitude 公司首席執(zhí)行官 Guilherme Soubihe 在接受 RCR Wireless 采訪時(shí)指出了這一點(diǎn)：“絕大多數(shù)數(shù)據(jù)中心級(jí) GPU 容量已經(jīng)被超大規(guī)模云廠商和前沿模型開發(fā)商用于大語言模型的訓(xùn)練和微調(diào)，而這些工作負(fù)載并不會(huì)從邊緣位置中獲得有意義的收益，因?yàn)榫W(wǎng)絡(luò)延遲基本無關(guān)緊要。”

不過，情況其實(shí)要更復(fù)雜一些。英偉達(dá) GTC 大會(huì)上的演示顯示，采用邊緣部署后，聊天機(jī)器人的往返延遲從 2000 毫秒下降到了 400 毫秒。Personal AI 首席執(zhí)行官 Suman Kanuganti 則對(duì)當(dāng)前延遲討論中通常圍繞單個(gè)請(qǐng)求展開的框架提出了質(zhì)疑。“AI Grid 并非針對(duì)單次調(diào)用進(jìn)行優(yōu)化，而是為并發(fā)而優(yōu)化的?！彼昧艘恍┗鶞?zhǔn)測(cè)試結(jié)果：在 P99 突發(fā)流量下，一個(gè)四節(jié)點(diǎn)的 AI Grid 能將語音延遲保持在 500 毫秒以內(nèi)，同時(shí)吞吐量比基線提升 80%，而集中式部署在相同負(fù)載下則會(huì)出現(xiàn)性能下降。換言之，邊緣的優(yōu)勢(shì)不在于將單個(gè)請(qǐng)求縮短幾毫秒，而在于為數(shù)百萬個(gè)并發(fā)會(huì)話同時(shí)保持確定性的服務(wù)質(zhì)量。因此，對(duì)于單個(gè)消費(fèi)者的查詢而言，延遲方面的優(yōu)勢(shì)可能并不明顯，但對(duì)于處理海量并發(fā)會(huì)話的運(yùn)營(yíng)商來說，其考量結(jié)果就開始有所不同了。

物理 AI 才是真正讓延遲成為架構(gòu)剛需的領(lǐng)域。自動(dòng)駕駛汽車、配送無人機(jī)和機(jī)器人、視頻監(jiān)控、智能眼鏡以及 AR/VR，都大幅壓縮了可接受的延遲窗口——云端推理根本無法滿足這些要求。

ABI 用一個(gè)直白的例子闡明了這一點(diǎn)：在 100 毫秒的延遲下，一輛時(shí)速 100 公里的自動(dòng)駕駛汽車相當(dāng)于有 2.8 米的距離處于“失明”狀態(tài)。當(dāng)面對(duì)需要近乎實(shí)時(shí)執(zhí)行的安全關(guān)鍵系統(tǒng)時(shí)，通過遠(yuǎn)端的云數(shù)據(jù)中心進(jìn)行路由推理是行不通的。同樣的原理適用于一系列新興應(yīng)用，包括最后一公里配送機(jī)器人和實(shí)時(shí)視頻分析。

當(dāng)然，問題在于時(shí)機(jī)。這些物理 AI 應(yīng)用中的大部分距離形成任何意義上的規(guī)模化都還有數(shù)年時(shí)間。愛立信美洲思想領(lǐng)導(dǎo)力負(fù)責(zé)人 Peter Linder 的核心觀點(diǎn)是，部署的理由需要來自網(wǎng)絡(luò)效率提升和未來收入潛力兩者的結(jié)合，而不僅僅是物理 AI 本身的需求；Kanuganti 則持更激進(jìn)的觀點(diǎn)，他認(rèn)為語音 AI、視頻智能和企業(yè) AI 服務(wù)是現(xiàn)在已經(jīng)存在的用例。如果自動(dòng)駕駛汽車、無人機(jī)、人形機(jī)器人真的有那么接近大規(guī)模應(yīng)用，那么基礎(chǔ)建設(shè)現(xiàn)在就必須開始。

建設(shè)成本劃算嗎？

即使延遲論點(diǎn)和應(yīng)用場(chǎng)景最終能夠達(dá)成一致，建設(shè)分布式 AI 網(wǎng)格的財(cái)務(wù)挑戰(zhàn)依然令人望而生畏。ABI 的結(jié)論是，在未來兩到三年內(nèi)，旨在降低標(biāo)準(zhǔn)延遲的大規(guī)模全國(guó)性邊緣服務(wù)器部署在財(cái)務(wù)上并不可行?；静渴鹩绕涿媾R嚴(yán)峻的單位經(jīng)濟(jì)效益問題——每個(gè)基站服務(wù)的用戶群有限，地理覆蓋范圍狹窄，這使得除了密集、高價(jià)值區(qū)域外，每個(gè)站點(diǎn)的回報(bào)都頗具挑戰(zhàn)。

為了用真實(shí)數(shù)據(jù)支撐討論，ABI 以美國(guó)的 T-Mobile 為例進(jìn)行了模擬計(jì)算。T-Mobile US 曾在 GTC 大會(huì)上表示，“ kinetic tokens”將為全球電信運(yùn)營(yíng)商帶來巨大機(jī)遇，而為了利用其基礎(chǔ)設(shè)施資產(chǎn)，運(yùn)營(yíng)商需要 AI-RAN 系統(tǒng)以及在網(wǎng)絡(luò)中部署 GPU。假設(shè) T-Mobile US 在美國(guó)運(yùn)營(yíng)約 13,000 個(gè)屋頂基站站點(diǎn)，并開始為其配備 AI-RAN 服務(wù)器（此場(chǎng)景中采用英偉達(dá) ARC-1 服務(wù)器，單價(jià) 6 萬美元，每臺(tái)為三個(gè)基站提供算力），且到 2035 年完成部署，實(shí)現(xiàn)屋頂站點(diǎn) GPU 全覆蓋——那么包括部署、冷卻及其他輔助成本在內(nèi)，累計(jì)總成本將達(dá)到 37 億美元。如下所示的圖表展示了該示例部署場(chǎng)景下的年度總體擁有成本：

圖：T-Mobile US 在其所有屋頂站點(diǎn)逐步部署 GPU 服務(wù)器的年度總體擁有成本

假設(shè)收入能相應(yīng)增長(zhǎng)，將投資分?jǐn)偟骄拍?，部署“AI Grid” 的投入就變得更為可控。此外，37 億美元的估算值在英偉達(dá)的體量下幾乎微不足道，但電信運(yùn)營(yíng)商及其投資者需要強(qiáng)有力的商業(yè)案例來支撐這一支出——尤其是當(dāng)這筆投入的規(guī)模相當(dāng)于部署一套新一代無線網(wǎng)絡(luò)時(shí)。

基礎(chǔ)設(shè)施的現(xiàn)實(shí)情況讓財(cái)務(wù)挑戰(zhàn)更加嚴(yán)峻，Kanuganti 表示，“通信鐵塔的設(shè)計(jì)初衷并不是為了容納和冷卻高密度計(jì)算設(shè)備”，這也解釋了為什么先行者會(huì)從具備冗余電源、冷卻和物理安全措施的有線近邊緣設(shè)施入手。Linder 也強(qiáng)調(diào)了這一點(diǎn)，他指出：“無線電站點(diǎn)通常環(huán)境惡劣，因此我們使用專門設(shè)計(jì)的、基于 ASIC 的計(jì)算來優(yōu)化功耗、性能和成本，并盡可能取消風(fēng)扇。”

這兩種觀點(diǎn)都得出了相同的結(jié)論：遠(yuǎn)邊緣的建設(shè)取決于硬件能效的提升、專為邊緣 AI 設(shè)計(jì)的硬件形態(tài)，以及將無線處理與 AI 推理整合到共享計(jì)算平臺(tái)上的 AI-RAN 架構(gòu)的出現(xiàn)。

鑒于所有這些限制因素，ABI 預(yù)測(cè)，AI 推理的初期部署將集中在核心網(wǎng)節(jié)點(diǎn)（通常一個(gè)國(guó)家內(nèi)少于 10 個(gè)），之后隨著低延遲需求增長(zhǎng)和經(jīng)濟(jì)性改善，再逐步向外擴(kuò)展到基站站點(diǎn)。許多應(yīng)用場(chǎng)景，包括視頻監(jiān)控、自動(dòng)駕駛、最后一公里配送機(jī)器人、智能眼鏡以及 AR/VR 應(yīng)用，都使得邊緣推理不是可選項(xiàng)，而是架構(gòu)上的必然要求。早期的“AI Grid” 部署主要作用是為電信網(wǎng)絡(luò)面向未來做好鋪墊，為 6G 最終所需的分布式計(jì)算打下基礎(chǔ)。

英偉達(dá)畫的“大餅”好吃么？

按照英偉達(dá)的設(shè)想，“AI Grid” 旨在跨計(jì)算位置無縫處理 AI 工作負(fù)載，從而優(yōu)化成本、性能和用戶體驗(yàn)。簡(jiǎn)而言之，它們根據(jù)延遲、成本和策略目標(biāo)來決定模型應(yīng)該在何處運(yùn)行以及 tokens 應(yīng)該如何流動(dòng)。

賦能實(shí)時(shí) AI 應(yīng)用場(chǎng)景：對(duì)話助手、AR/VR、在線游戲和工業(yè)機(jī)器人等實(shí)時(shí) AI 應(yīng)用，為了實(shí)現(xiàn)沉浸式客戶體驗(yàn)，需要嚴(yán)格控制延遲?！癆I Grid” 通過將計(jì)算工作負(fù)載部署在盡可能靠近終端用戶和設(shè)備的物理位置，實(shí)現(xiàn)了此類對(duì)延遲高度敏感的應(yīng)用的大規(guī)模運(yùn)行。

大規(guī)模優(yōu)化 Token 成本：多模態(tài)生成和高級(jí)推理模型生成的 Token 數(shù)量可達(dá)簡(jiǎn)單文本型大型語言模型 (LLM) 的 100 倍，這顯著增加了網(wǎng)絡(luò)數(shù)據(jù)量，并推高了云出口成本?！癆I Grid” 通過將這些 Token 密集型工作負(fù)載部署在具有最具成本效益的計(jì)算和網(wǎng)絡(luò)連接的分布式 AI 節(jié)點(diǎn)上來緩解這一問題，從而在不犧牲服務(wù)質(zhì)量的前提下，減少數(shù)據(jù)出口和帶寬消耗。

面向彈性和投資回報(bào)的地理彈性架構(gòu)：“AI Grid” 可以運(yùn)行從 AI 應(yīng)用到網(wǎng)絡(luò)功能的各種工作負(fù)載，同時(shí)優(yōu)化每個(gè)節(jié)點(diǎn)的利用率，從而提高基礎(chǔ)設(shè)施投資回報(bào)率并降低運(yùn)營(yíng)開銷，優(yōu)于單一用途系統(tǒng)。它們將多個(gè)分布式 AI 節(jié)點(diǎn)視為一個(gè)虛擬系統(tǒng)，從而能夠更智能地?cái)U(kuò)展容量、應(yīng)對(duì)突發(fā)的需求高峰并顯著減少單點(diǎn)故障。

區(qū)域合規(guī)性和數(shù)據(jù)主權(quán)：企業(yè)可以定義數(shù)據(jù)和模型在“AI Grid” 上的存儲(chǔ)和執(zhí)行位置，使部署符合區(qū)域規(guī)則，同時(shí)還能利用全球規(guī)模的協(xié)調(diào)能力。

基于以上受益，我們能看到英偉達(dá)正在積極構(gòu)建一種敘事，即電信公司將成為新型 AI 網(wǎng)格中的關(guān)鍵節(jié)點(diǎn)。但值得清醒認(rèn)識(shí)到的是，這一框架對(duì)英偉達(dá)的好處，遠(yuǎn)超其他任何一方。設(shè)備銷售、軟件授權(quán)、生態(tài)綁定——無論“AI Grid” 最終以何種形態(tài)落地，英偉達(dá)都將是最大的贏家；而對(duì)于電信運(yùn)營(yíng)商而言，這條路卻遠(yuǎn)沒有那樣明朗。

率先行動(dòng)的玩家或許未必能在短期內(nèi)看到真金白銀的回報(bào)，它們更多是在這個(gè)被英偉達(dá)等公司稱為“AI超級(jí)周期”的浪潮中，搶先占據(jù)一個(gè)戰(zhàn)略卡位。然而，這種卡位是否真的值得在收入來源尚未得到任何驗(yàn)證之前，就投入數(shù)十億美元的資本支出，仍然是一個(gè)懸而未決的問題~

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com