英偉達(dá)的AI Grid愿景：通信企業(yè)該入局嗎？一份成本與價值的深度剖析
在年度GTC大會上，英偉達(dá)提出了名為“AI Grid”的宏大構(gòu)想，計(jì)劃推動全球電信網(wǎng)絡(luò)向人工智能基礎(chǔ)設(shè)施轉(zhuǎn)型。
“AI Grid”是由相互連接的AI基礎(chǔ)設(shè)施節(jié)點(diǎn)構(gòu)成的網(wǎng)絡(luò)，覆蓋AI工廠、區(qū)域接入點(diǎn)、中心機(jī)房、移動交換中心及基站站點(diǎn)。這些節(jié)點(diǎn)配備全棧式AI基礎(chǔ)設(shè)施，通過安全、高帶寬、低延遲的網(wǎng)絡(luò)連接，實(shí)現(xiàn)數(shù)據(jù)、模型、智能體和工作負(fù)載的無縫流轉(zhuǎn)，讓整個網(wǎng)格如同統(tǒng)一的分布式系統(tǒng)運(yùn)作。
目前，T-Mobile US、Comcast、SoftBank等電信運(yùn)營商正在探索“AI Grid”領(lǐng)域。英偉達(dá)強(qiáng)調(diào)，電信公司現(xiàn)有的鐵塔、光纖和頻譜等資產(chǎn)，使其天然適合承載分布式推理基礎(chǔ)設(shè)施。但核心問題在于：若這一愿景代表未來趨勢，電信運(yùn)營商現(xiàn)在是否應(yīng)投入大量資金建設(shè)分布式AI基礎(chǔ)設(shè)施？
針對此問題，ABI Research近期發(fā)布分析報告，為電信公司算了一筆賬。報告涵蓋“AI Grid”落地中的邊緣GPU部署、網(wǎng)絡(luò)延遲限制、總體擁有成本，核心是厘清：英偉達(dá)的愿景如今是否可行，還是一場押注未來的昂貴賭博？
降低延遲是核心驅(qū)動力嗎？
在網(wǎng)絡(luò)近邊緣或遠(yuǎn)邊緣部署GPU，最常見的理由是延遲——實(shí)時執(zhí)行和控制類應(yīng)用對延遲要求嚴(yán)格，推理服務(wù)器越靠近用戶，響應(yīng)速度理論上越快。
然而，ABI的分析顯示，這一論點(diǎn)對當(dāng)前主流AI工作負(fù)載并不成立。對于生成式AI，首字延遲（TTFT，衡量從請求發(fā)起至接收第一個字節(jié)的時間）是關(guān)鍵指標(biāo)，網(wǎng)絡(luò)延遲并非主要影響因素。標(biāo)準(zhǔn)網(wǎng)絡(luò)往返時間可能達(dá)100毫秒，但DNS解析、隧道建立、計(jì)算密集的預(yù)填充和解碼階段才是更大的延遲來源，這些環(huán)節(jié)不受推理服務(wù)器位置影響。以1000個token的中等提示詞為例，預(yù)填充階段約需160毫秒，解碼階段可能長達(dá)數(shù)秒。
這意味著，常規(guī)聊天機(jī)器人交互中，將推理服務(wù)器移近用戶不會顯著改善體驗(yàn)。token生成的計(jì)算延遲遠(yuǎn)超過網(wǎng)絡(luò)傳輸節(jié)省的時間。Latitude首席執(zhí)行官Guilherme Soubihe在接受RCR Wireless采訪時指出：“絕大多數(shù)數(shù)據(jù)中心級GPU容量已被超大規(guī)模云廠商和前沿模型開發(fā)商用于大語言模型訓(xùn)練和微調(diào)，這些工作負(fù)載不會從邊緣部署中獲得有意義的收益，因?yàn)榫W(wǎng)絡(luò)延遲基本無關(guān)緊要?！?/p>
不過情況更復(fù)雜。英偉達(dá)GTC大會演示顯示，邊緣部署后聊天機(jī)器人往返延遲從2000毫秒降至400毫秒。Personal AI首席執(zhí)行官Suman Kanuganti質(zhì)疑當(dāng)前圍繞單個請求的延遲討論框架：“AI Grid并非優(yōu)化單次調(diào)用，而是針對并發(fā)?！彼没鶞?zhǔn)測試：P99突發(fā)流量下，四節(jié)點(diǎn)AI Grid能將語音延遲保持在500毫秒內(nèi)，吞吐量比基線提升80%，而集中式部署在相同負(fù)載下性能下降。即邊緣的優(yōu)勢不在于縮短單個請求的毫秒數(shù)，而在于為海量并發(fā)會話維持穩(wěn)定服務(wù)質(zhì)量。對單個消費(fèi)者查詢，延遲優(yōu)勢不明顯，但對處理大規(guī)模并發(fā)的運(yùn)營商，考量結(jié)果不同。
物理AI才是讓延遲成為架構(gòu)剛需的領(lǐng)域。自動駕駛汽車、配送無人機(jī)、機(jī)器人、視頻監(jiān)控、智能眼鏡及AR/VR，都大幅壓縮了可接受的延遲窗口——云端推理無法滿足需求。
ABI用實(shí)例說明：100毫秒延遲下，時速100公里的自動駕駛汽車相當(dāng)于有2.8米“失明”距離。安全關(guān)鍵系統(tǒng)需要近乎實(shí)時執(zhí)行，遠(yuǎn)端云數(shù)據(jù)中心推理不可行。這一原理適用于最后一公里配送機(jī)器人、實(shí)時視頻分析等新興應(yīng)用。
但問題在于時機(jī)。這些物理AI應(yīng)用大多距離規(guī)?；€有數(shù)年。愛立信美洲思想領(lǐng)導(dǎo)力負(fù)責(zé)人Peter Linder認(rèn)為，部署理由需結(jié)合網(wǎng)絡(luò)效率提升和未來收入潛力，而非僅依賴物理AI需求；Kanuganti則更激進(jìn)，認(rèn)為語音AI、視頻智能和企業(yè)AI服務(wù)是現(xiàn)有用例。若自動駕駛汽車等真的接近大規(guī)模應(yīng)用，現(xiàn)在就必須開始基建。
建設(shè)成本是否劃算？
即使延遲論點(diǎn)和應(yīng)用場景達(dá)成一致，分布式AI網(wǎng)格的財務(wù)挑戰(zhàn)仍令人卻步。ABI結(jié)論是，未來兩到三年內(nèi)，為降低標(biāo)準(zhǔn)延遲而大規(guī)模部署全國性邊緣服務(wù)器在財務(wù)上不可行?；静渴鹩绕涿媾R單位經(jīng)濟(jì)效益問題——每個基站服務(wù)用戶群有限、覆蓋范圍窄，除密集高價值區(qū)域外，每個站點(diǎn)的回報都具挑戰(zhàn)。
為用真實(shí)數(shù)據(jù)支撐討論，ABI以美國T-Mobile為例模擬計(jì)算。T-Mobile US曾在GTC大會表示，“kinetic tokens”將為全球電信運(yùn)營商帶來巨大機(jī)遇，利用基礎(chǔ)設(shè)施資產(chǎn)需AI-RAN系統(tǒng)及網(wǎng)絡(luò)中部署GPU。假設(shè)T-Mobile US運(yùn)營約13000個屋頂基站站點(diǎn)，開始配備AI-RAN服務(wù)器（采用英偉達(dá)ARC-1服務(wù)器，單價6萬美元，每臺為三個基站提供算力），到2035年完成屋頂站點(diǎn)GPU全覆蓋——包括部署、冷卻及其他輔助成本，累計(jì)總成本將達(dá)37億美元。下圖展示該部署場景的年度總體擁有成本：
圖：T-Mobile US在所有屋頂站點(diǎn)逐步部署GPU服務(wù)器的年度總體擁有成本
若收入相應(yīng)增長，將投資分?jǐn)偟骄拍?，“AI Grid”投入更可控。37億美元在英偉達(dá)體量下微不足道，但電信運(yùn)營商及其投資者需要強(qiáng)有力的商業(yè)案例支撐支出——尤其是這筆投入規(guī)模相當(dāng)于部署新一代無線網(wǎng)絡(luò)。
基礎(chǔ)設(shè)施現(xiàn)狀加劇財務(wù)挑戰(zhàn)，Kanuganti表示：“通信鐵塔設(shè)計(jì)初衷并非容納和冷卻高密度計(jì)算設(shè)備”，這解釋了先行者為何從具備冗余電源、冷卻和物理安全措施的有線近邊緣設(shè)施入手。Linder也強(qiáng)調(diào)：“無線電站點(diǎn)環(huán)境惡劣，因此使用專門設(shè)計(jì)的基于ASIC的計(jì)算，優(yōu)化功耗、性能和成本，盡可能取消風(fēng)扇?！?/p>
兩種觀點(diǎn)結(jié)論一致：遠(yuǎn)邊緣建設(shè)取決于硬件能效提升、專為邊緣AI設(shè)計(jì)的硬件形態(tài)，以及整合無線處理與AI推理的AI-RAN架構(gòu)的出現(xiàn)。
鑒于這些限制，ABI預(yù)測AI推理初期部署將集中在核心網(wǎng)節(jié)點(diǎn)（通常一個國家內(nèi)少于10個），之后隨低延遲需求增長和經(jīng)濟(jì)性改善，逐步擴(kuò)展到基站站點(diǎn)。視頻監(jiān)控、自動駕駛、最后一公里配送機(jī)器人、智能眼鏡及AR/VR應(yīng)用，使邊緣推理成為架構(gòu)必然要求。早期“AI Grid”部署主要為電信網(wǎng)絡(luò)未來鋪路，為6G所需的分布式計(jì)算打基礎(chǔ)。
英偉達(dá)的“AI Grid”愿景值得投入嗎？
按英偉達(dá)設(shè)想，“AI Grid”旨在跨計(jì)算位置無縫處理AI工作負(fù)載，優(yōu)化成本、性能和用戶體驗(yàn)。簡言之，根據(jù)延遲、成本和策略目標(biāo)決定模型運(yùn)行位置及token流轉(zhuǎn)方式。
賦能實(shí)時AI應(yīng)用：對話助手、AR/VR、在線游戲和工業(yè)機(jī)器人等實(shí)時AI應(yīng)用，為實(shí)現(xiàn)沉浸式體驗(yàn)需嚴(yán)格控制延遲。“AI Grid”通過將計(jì)算工作負(fù)載部署在靠近終端用戶和設(shè)備的位置，實(shí)現(xiàn)此類高延遲敏感應(yīng)用的大規(guī)模運(yùn)行。
優(yōu)化大規(guī)模Token成本：多模態(tài)生成和高級推理模型生成的Token數(shù)量是簡單文本型LLM的100倍，增加網(wǎng)絡(luò)數(shù)據(jù)量并推高云出口成本?！癆I Grid”通過將Token密集型工作負(fù)載部署在具成本效益的分布式AI節(jié)點(diǎn)，減少數(shù)據(jù)出口和帶寬消耗，同時不犧牲服務(wù)質(zhì)量。
地理彈性架構(gòu)提升彈性與投資回報：“AI Grid”可運(yùn)行從AI應(yīng)用到網(wǎng)絡(luò)功能的各類工作負(fù)載，優(yōu)化每個節(jié)點(diǎn)利用率，提高基礎(chǔ)設(shè)施投資回報率并降低運(yùn)營開銷，優(yōu)于單一用途系統(tǒng)。將多個分布式AI節(jié)點(diǎn)視為虛擬系統(tǒng)，能更智能擴(kuò)展容量、應(yīng)對需求高峰并減少單點(diǎn)故障。
區(qū)域合規(guī)與數(shù)據(jù)主權(quán)：企業(yè)可定義數(shù)據(jù)和模型在“AI Grid”上的存儲和執(zhí)行位置，使部署符合區(qū)域規(guī)則，同時利用全球規(guī)模協(xié)調(diào)能力。
基于這些收益，英偉達(dá)正構(gòu)建電信公司成為新型AI網(wǎng)格關(guān)鍵節(jié)點(diǎn)的敘事。但需清醒認(rèn)識到，這一框架對英偉達(dá)的好處遠(yuǎn)超其他方。設(shè)備銷售、軟件授權(quán)、生態(tài)綁定——無論“AI Grid”最終形態(tài)如何，英偉達(dá)都是最大贏家；而電信運(yùn)營商的道路遠(yuǎn)不明朗。
率先行動的玩家短期內(nèi)未必能看到實(shí)際回報，更多是在英偉達(dá)等公司所稱的“AI超級周期”中搶占戰(zhàn)略卡位。但這種卡位是否值得在收入來源未驗(yàn)證前投入數(shù)十億美元資本支出，仍是懸而未決的問題~
參考資料：
ABI on AI infra | AI grid may be the next telecoms arms race (Analyst Angle)——RCRWireless
Nvidia’s AI grid and the telco dilemma——RCRWireless
What Is an AI Grid?——英偉達(dá)官網(wǎng)
英偉達(dá)的電信雄心：重塑2萬億美元網(wǎng)絡(luò)產(chǎn)業(yè)——C114通信網(wǎng)
黃仁勛的物理AI野望:將5G網(wǎng)絡(luò)轉(zhuǎn)變?yōu)榉植际紸I計(jì)算機(jī)!——物聯(lián)網(wǎng)智庫
本文來自微信公眾號 “物聯(lián)網(wǎng)智庫”（ID：iot101），作者：Sophia，36氪經(jīng)授權(quán)發(fā)布。
本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>
免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com